ビッグデータへの第一歩

こんにちは、鹿島です。 まずは私の過去の経歴についてまとめたいと思います。
SEとして新卒で就職→1年半で退職→FLINTERS BASEに入社

この度約2ヶ月半の研修カリキュラムを受講しました。
実際に受けた研修のうち、AWSと総合演習についてご紹介します。

研修内容について

AWS

やったこと
  1. 各種サービスに触れて理解を深める
  2. クラウド上にサーバ構築する一連の工程を体験
  3. クラウドストレージにあるデータファイルをデータウェアハウスに格納するETLの実装
事前知識

GCP研修を経ていたのでクラウドの基礎は身についていましたが、AWSに触るのは初めてでした。

感想

公式ドキュメントやハンズオンの動画などの学習コンテンツが豊富で学びやすかったです。 ハンズオン動画内で作業予定のアーキテクチャを示していたため、体系的に理解しながら進められました。 研修を通して、クラウドを使用した開発が近年人気な理由がわかりました。 スケーリング、コスパ、冗長性など、オンプレと比較して優秀な点が多いと実感できました。 また本質的な実装にリソースを割けるのも大きなメリットだと思います。

総合演習

やったこと

データ分析基盤構築から活用まで、一連の開発を実践する

  1. 競馬予測をテーマに選定
  2. WebサイトをスクレイピングしてCSVファイルを作成
  3. AWS Glueを使ってRedshiftに取り込むようワークフローを構築
  4. Tableauでデータの可視化
事前知識

「ETLとは」から実際にデータ処理のワークフロー実装をハンズオン形式で研修を行いました。

感想

研修完了後にデータエンジニアとして一歩踏み出せた実感が持てました。 手順に従うのではなく、自ら考えてデータ分析基盤を構築する経験は実務に役立ちそうだと感じます。 しかし、できないことも多く学ぶことはまだまだ多いことにも気づけました。 配属後も引き続き意欲的に学習していきたいと思います。

成長できたこと

  • データエンジニアが何をどうやってやるのかわかった
  • 幅広い知識の習得により理解できる技術の幅が広がった
  • 機械学習やAIの概要を理解し、学習の方針が定まった
  • 有用な知識は相互に共有するという意識が根付いた

会社に入ってみての感想・雰囲気について

堅苦しいコミュニケーションの必要がなく、肩肘張らない雰囲気です。 リモートワークで他の社員の方とコミュニケーションが取れるか不安でしたが、 ペア学習やシャッフルランチなど、想像より交流の場は多かったです。 親会社のFLINRTERSがエンジニア中心の会社の影響からか、比較的エンジニアが働きやすい環境が整っていると思います。

これからの抱負

データ分析基盤の構築からデータの活用までできるエンジニアを目指しています。 研修以外では統計や機械学習を学んだり、データサイエンス周りの知識を深めています。 データドリブンに課題解決ができるようにスキルを構築していきたいと思っています。