YouTube Data APIを使用したデータパイプラインの構築

  • はじめに
    • 本記事の目的
    • 本記事で紹介すること/ 紹介しないこと
    • 使用技術とツールの紹介
  • アーキテクチャ概要
    • 全体のフローの説明
    • 各コンポーネントの役割
  • 手順詳細
    • ステップ1: スケジューラによるCloud Runの実行
      • スケジューラの設定
    • ステップ2: YouTube Data APIからのデータ取得
      • Secret ManagerからAPIキーを取得
      • YouTubeData APIのコール
    • ステップ3: 取得データをJSON形式で保存
      • Google Cloud Storage（GCS）への保存
      • PubSubへメッセージをPublish
    • ステップ4: GCSの格納をトリガーにメッセージを配信
      • Subscriptionの設定
    • ステップ5: データをBigQueryへ挿入
      • GCSからファイルを取得
      • BQへデータの挿入
  • まとめ
    • 今後の拡張ポイント
    • 感想
  • 参考資料
    • 公式ドキュメントへのリンク

はじめに

本記事の目的

学習目的で実装をしているデータパイプライン構築で得た知見のアウトプットです。 YouTubeDataAPIはGCPに登録をすれば無料で利用できるAPIで、人気動画の一覧やその動画の視聴数、再生時間などのデータを取得することが可能です。 本記事では作成したパイプラインの全体像と各リソースの役割について解説します。

続きを読む

思いもよらぬ経験から得た学び

FLINTERS BASEの安部と申します。

この記事は「梅雨にも負けない！ブログ祭り☔️」イベントの投稿となります。
私のテーマは#FLINTERS BASE #経験 #学びです。

ITから程遠い業界から転職し、早1年半以上が経過しました。
元々はエンジニアとして中途入社したものの、様々なご縁でデータエンジニアの域を越えた幅広い経験をさせていただいております。
私が業務の中で感じたことをまとめましたので、最後までお読みいただけると幸いです。

続きを読む

IT未経験の私が果たせた役割

こんにちは。FLINTERS BASE の岩渕です。
今回の記事は「梅雨にも負けない！ブログ祭り☔️」としての投稿です。

テーマは #FLINTERS BASE  #成長 です。

私自身IT未経験の状態で転職し配属されて2年が経ちました。

私と同じように異業界からIT業界への転職を考えている方に弊社での働き方を知っていただけるきっかけになれば幸いです。

続きを読む

『システムを作らせる技術 エンジニアではないあなたへ』を読んで

 

はじめに

初めまして！
今年5月にFLINTERS BASEに入社し、現在絶賛研修中の藤原です。

突然ですが、皆様がいま関わっているプロジェクト（以下:PJ）は燃えているでしょうか……？
システム開発PJの6〜7割は予定通りに終了しない、という話をよく耳にします。
（企業IT動向調査報告書 2023によると、2022年度に100人月未満のPJが予定通り完了した割合は、全体の32.4%とのこと！）
PJが失敗する原因は多岐にわたるかと思います。要件の抜け漏れ、エンジニアへの丸投げ、マネジメントの問題、関係者内外の知識不足、コミュニケーション不足......etc　胃が痛くなりそうですね。

そこで今回は、システム開発PJを炎上させないための『システムを作らせる技術 エンジニアではないあなたへ（著：白川 克、濵本 佳史）』という本について紹介いたします！

本記事はFLINTERS BASEブログ祭りの記事となります。
テーマは #システム開発 #読書メモ #技術書 です。

続きを読む

エンジニアとしての成長戦略

本記事は「梅雨にも負けない！ブログ祭り☔️」の記事となります。  
※テーマ：#FLINTERS BASE #成長

はじめまして、6月にFLINTERS BASEに入社しました寺嶋と申します。

今回は成長をテーマにブログを執筆します。  
はじめに私の現状を紹介します。

  • プログラミングスクールに通ったのみの初心者エンジニア（30歳）  
  • FLINTERS BASEに入社して2週間

入社して2週間でいきなり成長をテーマにブログを書くことになったのですが、  
結論から言うと、ブログ執筆を通して「エンジニアとしての成長戦略」が見つかりました。  

今回はその内容をシェアしたいと思います。  
このブログを読んだ方が成長について考えるきっかけとなれたら幸いです。

続きを読む

世界一流エンジニアの思考法【読書感想】

こんにちは。FLINTERS BASEの小林です。

今年の4月に弊社に入社をし、現在は研修で毎日勉強の日々を送っています。

 

本記事はFLINTERS BASE「梅雨にも負けないブログ祭り」企画の一環です。

私たちのチームでは読書感想文を投稿することになりましたので、『世界一流エンジニアの思考法』という書籍の感想を書かせていただきました。

テーマ #読書メモ

この書籍は一言で言えば、「仕事のパフォーマンスを上げる方法を教えてくれる」本です。

著者がアメリカで働き始めた頃に何よりも驚いたことは、一人一人の生産性の高さだったとのことです。

しかし一流のプログラマーも同じ人間です。自分にも真似できることがないかと注意深く観察を続けているうちにあることに気が付きます。

それは「良い習慣や思考法が高い生産性を形作っている」ということでした。

 

『世界一流エンジニアの思考法』

『世界一流エンジニアの思考法』牛尾剛  文藝春秋BOOKS

著者：牛尾剛

出版社：文藝春秋

続きを読む