こんにちは、FLINTERS BASE 11期生の藤原です！
真夏のピークが早く去ってほしいと願う今日この頃です。
この記事は、研修終了後の振り返りブログとなります。
弊社に少しでも興味を持っている方の参考になれば幸いです......！
設立3周年を迎えました
代表取締役の関です。
FLINTERS BASEは、本日2024年8月2日に設立3周年を迎えることができました！
これまでご協力いただいた関係者の皆様に、深く感謝申し上げます。
この1年を簡単に振り返ります。
続きを読む新人データエンジニアが思うFLINTERS BASEでの研修と社風について
はじめに
2024年4月入社のサトミです。この度3ヶ月の技術研修を終え、6月末に卒業式を迎えました。桜ではなく、紫陽花が咲く時期に卒業式を行ったのは人生で初めてのことでした。現在は配属先でデータエンジニアとして業務を行なっています。
続きを読む現場監督からデータエンジニアへ転職
はじめに
こんにちは。
FLINTERS BASE10期生の小林です。
約3ヶ月の入社後研修を終えたので、振り返りとしてブログを執筆しました。
エンジニアへの転職を考えている方たちへ、少しでも参考になれば幸いです。
続きを読む化学系研究職からデータエンジニアへ転身した話
こんにちは。
FLINTERS BASE 10期生の有川です。
この記事では、IT 未経験者がデータエンジニア研修で感じたことを共有していきます。
自分と同じように異業種からエンジニアへの転向を考えている方にとって、今回の記事が少しでも参考になれば幸いです。
続きを読むYouTube Data APIを使用したデータパイプラインの構築
- はじめに
- 本記事の目的
- 本記事で紹介すること/ 紹介しないこと
- 使用技術とツールの紹介
- アーキテクチャ概要
- 全体のフローの説明
- 各コンポーネントの役割
- 手順詳細
- ステップ1: スケジューラによるCloud Runの実行
- スケジューラの設定
- ステップ2: YouTube Data APIからのデータ取得
- Secret ManagerからAPIキーを取得
- YouTubeData APIのコール
- ステップ3: 取得データをJSON形式で保存
- Google Cloud Storage（GCS）への保存
- PubSubへメッセージをPublish
- ステップ4: GCSの格納をトリガーにメッセージを配信
- Subscriptionの設定
- ステップ5: データをBigQueryへ挿入
- GCSからファイルを取得
- BQへデータの挿入
- ステップ1: スケジューラによるCloud Runの実行
- まとめ
- 今後の拡張ポイント
- 感想
- 参考資料
- 公式ドキュメントへのリンク
はじめに
本記事の目的
学習目的で実装をしているデータパイプライン構築で得た知見のアウトプットです。 YouTubeDataAPIはGCPに登録をすれば無料で利用できるAPIで、人気動画の一覧やその動画の視聴数、再生時間などのデータを取得することが可能です。 本記事では作成したパイプラインの全体像と各リソースの役割について解説します。
続きを読む