データエンジニアとしてのBASE作り

2022年4月入社の岩渕です。

FLINTERS BASEに転職し3ヶ月の研修を終え、一部ですがその内容と会社の雰囲気をお伝えしたいと思います。

まず私自身の入社前の状態を少しお話すると、前職は全くの異業種でプログラミングの経験はほぼ0。入社前にプログラミングスクールで学習をした程度でした。

転職活動で初めてデータエンジニアについて知り、データアナリストは何となく分かるけれどデータエンジニアとはなんぞや?状態。

しかし、あらゆるものがネットワークに繋がりデータが溢れる現在。

そのデータに活路を見出す基盤を構築できるデータエンジニアの仕事は面白そうだなと考え、ご縁があって入社に至りました。

この記事が、データエンジニアを目指す方やFLINTERS BASEに興味がある方のお役に立てれば幸いです。

 

成長できたこと

研修を通してデータエンジニアとしての基盤ができたと思います。

バリエーション豊かな研修プログラムを通して培ったこの基盤は、2つの意味を含んでいます。

 

まず1つ目にデータエンジニアリングの一連の流れを理解し、実践的な技術の基礎を身につけました。

データ活用のためのインフラづくりを仕事とするデータエンジニアは、データが収集されてデータ利用者に届けられるまでのデータパイプラインを作っていきます。

データパイプラインで行うタスクを管理するワークフロー管理ツール(例:Digdag、Apache Airflow)や、データの抽出〜変換・加工〜格納まで行うETLと呼ばれるプロセスを行う技術(例:GCPのCloud Storage、BigQuery、Data Portal等)を学べます。

似たようなことが実現できる技術が複数研修に盛り込まれており(例:AWSGCP内のプロダクト)、横断的に学ぶ事ができるため技術の幅が広がりました。

こうしてデータエンジニアとはなんぞや状態だった私も、研修を通してデータエンジニアはこんな仕事をしていくのかと全体像とその中身について理解できるようになりました。

 

2つ目は、そもそもエンジニアとしての基礎である、学習姿勢や調べ方、実際に手を動かして解決する力が身につきました。

研修内容は実際にデータエンジニアが使用する技術を使用し、コードを記述したりクラウドサービスを利用するなど実践的な内容でした。

わからない部分やエラーが出た際は、WEB上に公開されている公式ドキュメントを読んだり記事を検索して解決していきました。

入社前はあまり公式ドキュメントを読んだことありませんでしたが、研修中に読む機会が度々あり、コードの書き方など内容が充実していることを実感しました。

それでも解決できない場合は、教育チームや先輩の方々がいつでもフォローしてくださいます。

基本的にフルリモートでの研修でしたが、SlackやZoomなどを活用しコミュニケーションに不便を感じることなく学習に集中できました。

こうした環境もあり、研修期間でエンジニアとしての基礎力を磨くことができたと思います。

 

2ヶ月半の充実しすぎていると言っても過言ではない研修を経て、自身のデータエンジニアとしての基盤を整えられたと思います。

研修内容について

ここでデータエンジニアとしての基盤を作った研修内容の一部をご紹介いたします。

RDB/SQL基礎

  • RDBSQLの基礎
  • DDL(データ定義言語)でデータベースやテーブルの作成・削除
  • DML(データ操作言語)でデータの検索・追加・更新・削除
  • クエリ内でクエリを実行するサブクエリ
  • トランザクション処理
  • データの正規化
感想

データエンジニアの最も基本となるスキルではないかと思うSQL。その基本の”き”からMySQLの環境構築を行った後にクエリを実行しながら学習していきます。

基本的なクエリの書き方から、概念までの基礎を学んでいきます。

この知識は研修の様々な場面で活用するので、研修資料を見なくてもスラスラとクエリが記述できると研修全体の学びの質が向上すると思いました。

Apache Airflow

  • DAG(有向非巡回グラフ)とは
  • ワークフロー作成
  • GUICLIで実行
  • BigQueryにデータを連携するワークフロー作成
  • エラー時にSlackに通知するワークフロー作成
感想

Pythonで記述するワークフロー管理システムのためコードが読みやすく、数多くのテンプレートが公開されているため、初めてこの技術に触れた私でも簡単にタスクの作成ができました。

Airflow以外にもDigdagというワークフローエンジンについても学ぶため、比較しながら学べます。

私はAirflowの方がUIが優れており、画面上で作成したタスクの実行状態や、結果、ログ等が確認できるため視覚的に理解しやすいと感じました。

自分で記述したワークフローが動き、BigQueryにテーブルが作成されたり、Slackに通知が来たときは感動しました。

余談ですがAirflowは民泊で有名なAirbnbで開発されたものだそうです。そのため以前の名称はAirbnb Airflow。

AWS

  • ネットワーク基礎(IPアドレス、サブネット等)
  • AWS基礎
  • クラウド上にWEBサーバ構築
  • S3,Redshiftでデータの格納とクエリ作成・実行
  • AWS GlueでETLツール利用
  • サーバレス基礎

感想

AWS研修の前にGCPを学習していたため、似たサービスの操作性や特徴を比較しながら学ぶことができました。

私の印象としては、コードの記述の補助機能があるなどAWSクラウドの知識が少なくても操作しやすいと感じました。

また、AWSは公式のハンズオンやYouTubeの動画があり学習コンテンツが豊富でした。

今までクラウドはなんとなく便利そうだくらいにしか思っていませんでしたが、環境構築の簡易さや分散処理、オートスケーリングなど、ありとあらゆるプロダクトや機能が提供されており、改めてクラウドを利用する恩恵の大きさを実感しました。

会社に入ってみての感想・雰囲気について

安心・充実の労働環境

設立間もなくまだ人数の少ない会社ですが、グループ会社(Septeni グループ)の影響もあって会社としてのベースは整っているので安心して仕事ができると思います。

書籍の貸し出し購入制度や、人事労務面、グループ横断的な勉強会や学習ツールなど様々な制度が整っています。

自分たちで作り上げる会社

研修中は定期的に振り返りを行っています。研修中に思ったことを何でもWEB上の付箋に記入し、ざっくばらんに話す場でした。

皆で意見を出し合い、それにきちんと耳を傾け、行動し改善していく雰囲気があると思います。

実際、振り返りで意見が出た「リモート環境でも質問しやすい場所づくり」として、Slackに専用チャンネルを設けていただきました。

前職は金融系だったため、長年の蓄積で変えたくても変えられない、言いにくいというような雰囲気がありましたがFLINTERS BASEはそういった雰囲気は一切ないと思います。

また、研修中はもちろん研修後も定期的に1on1が設定されているため、会社に何でも伝えやすい環境が整っています。

これから入社される方々とも、積極的に意見を出して一緒により良い会社を作っていきたいです。

 

これからの抱負

企業が持つデータは大切な資産です。その資産の価値は今後益々上がっていくと思います。

今後、ご縁があった企業様の中に絶えず流れ、眠っているデータの活用支援することで、データにエネルギーを与えられるエンジニアになっていきたいです。

 

研修を通してデータエンジニアとしての基盤は構築できましたが、まだ厚みがありません。

これからも学び続けデータエンジニアとしてのスキルに磨きをかけて厚みのあるエンジニアになっていきたいです。