はじめに
2024年4月入社のサトミです。この度3ヶ月の技術研修を終え、6月末に卒業式を迎えました。桜ではなく、紫陽花が咲く時期に卒業式を行ったのは人生で初めてのことでした。現在は配属先でデータエンジニアとして業務を行なっています。
続きを読む現場監督からデータエンジニアへ転職
はじめに
こんにちは。
FLINTERS BASE10期生の小林です。
約3ヶ月の入社後研修を終えたので、振り返りとしてブログを執筆しました。
エンジニアへの転職を考えている方たちへ、少しでも参考になれば幸いです。
続きを読む化学系研究職からデータエンジニアへ転身した話
こんにちは。
FLINTERS BASE 10期生の有川です。
この記事では、IT 未経験者がデータエンジニア研修で感じたことを共有していきます。
自分と同じように異業種からエンジニアへの転向を考えている方にとって、今回の記事が少しでも参考になれば幸いです。
続きを読むYouTube Data APIを使用したデータパイプラインの構築
- はじめに
- 本記事の目的
- 本記事で紹介すること/ 紹介しないこと
- 使用技術とツールの紹介
- アーキテクチャ概要
- 全体のフローの説明
- 各コンポーネントの役割
- 手順詳細
- ステップ1: スケジューラによるCloud Runの実行
- スケジューラの設定
- ステップ2: YouTube Data APIからのデータ取得
- Secret ManagerからAPIキーを取得
- YouTubeData APIのコール
- ステップ3: 取得データをJSON形式で保存
- Google Cloud Storage（GCS）への保存
- PubSubへメッセージをPublish
- ステップ4: GCSの格納をトリガーにメッセージを配信
- Subscriptionの設定
- ステップ5: データをBigQueryへ挿入
- GCSからファイルを取得
- BQへデータの挿入
- ステップ1: スケジューラによるCloud Runの実行
- まとめ
- 今後の拡張ポイント
- 感想
- 参考資料
- 公式ドキュメントへのリンク
はじめに
本記事の目的
学習目的で実装をしているデータパイプライン構築で得た知見のアウトプットです。 YouTubeDataAPIはGCPに登録をすれば無料で利用できるAPIで、人気動画の一覧やその動画の視聴数、再生時間などのデータを取得することが可能です。 本記事では作成したパイプラインの全体像と各リソースの役割について解説します。
続きを読むDATA Saber - Bridge 2ndに挑戦した感想
こんにちは、エンジニアの田中です。BIチームで働いています。
少し前のことになりますがDATA Saber - Bridge 2ndに参加し、無事に認定をいただきましたので感想をまとめます。
続きを読む思いもよらぬ経験から得た学び
FLINTERS BASEの安部と申します。
この記事は「梅雨にも負けない！ブログ祭り☔️」イベントの投稿となります。
私のテーマは#FLINTERS BASE #経験 #学びです。
ITから程遠い業界から転職し、早1年半以上が経過しました。
元々はエンジニアとして中途入社したものの、様々なご縁でデータエンジニアの域を越えた幅広い経験をさせていただいております。
私が業務の中で感じたことをまとめましたので、最後までお読みいただけると幸いです。
IT未経験の私が果たせた役割
こんにちは。FLINTERS BASE の岩渕です。
今回の記事は「梅雨にも負けない！ブログ祭り☔️」としての投稿です。
テーマは #FLINTERS BASE #成長 です。
私自身IT未経験の状態で転職し配属されて2年が経ちました。
私と同じように異業界からIT業界への転職を考えている方に弊社での働き方を知っていただけるきっかけになれば幸いです。
続きを読む