データエンジニアリング研修を終えて

こんにちは!松浦です。

データエンジニア研修を無事終えることができましたので感想を書いていきます。

研修に関わる皆さんに深く感謝の気持ちをお伝えするとともに、

これからエンジニアを目指す方の参考になれば幸いです。

 

経歴

前職では、流体制御機器を生産する業務に携わっていました。

自分の関わった製品がどこかで誰かのためになっていることは面白くありましたが、

将来性への漠然とした不安から転職を考えるようになりました。

 

エンジニアを目指す

好奇心を持って日々を過ごせることや、新しい知識や技術に近い距離で触れられる環境に憧れがありました。そのため、IT系、エンジニアという選択肢が自然と浮かび上がり独学でプログラミングの勉強を始めました。

そしてご縁があって入社することができました。

 

研修内容

研修の流れと、研修期間で印象に残っている3つの内容をご紹介させていただきます。

 

未経験からエンジニアの仕組み

データエンジニア職種を未経験から採用している企業は希少だと思います。

キャリアチェンジをしたいと思っている人を未経験で採用し自社で育てる、という寛大な方針のもと採用活動が行われております。

約3ヶ月の研修を経て、実務に関わることとなります。

 

研修の流れ

前半はエンジニアの基礎としてPython, SQL, Gitなど、

後半では、データエンジニアに必要なAWSやGoogle Cloudといったクラウドサービス、Embulk、Digdag、Airflowを用いたETLなどを学ぶことができます。

データエンジニアって何をするの?という疑問も研修が進んでいくうちにクリアになっていきます。

 

ETL

ETLは、異なるソースからデータを抽出 (Extract) し、分析や利用に適した形に変換 (Transform) し、最終的な保存先(データウェアハウスなど)に書き出す (Load) 一連のプロセスを指します。

データ転送ツールのEmbulkと、ワークフローに基づいて実行・管理できるDigdagを使用すれば、データの収集から加工、転送までの一連のプロセスを自動化し、データエンジニアリングにおける効率的なデータ基盤構築と運用を実現できます。

データエンジニアならではのツールとなっており、非常に面白いところです。

 

ちなみにAirflowは、宿泊予約サービスで知られているAirbnb社が多様な顧客のデータ管理や処理を自動化するために作成したツールです。

その後オープンソース化され、誰でも自由に使える状態になりました。

多くの人に認知されている企業が使用している技術を、同じように扱えることはエンジニアの面白さの一つかもしれません。

 

BI(Tableau)

データを元にした意思決定を行うためのツールです。

Excelでもスプレッドシートでもグラフの作成はできますが100万行が限界です。

企業のデータとなると何億や何兆となるため、データウェアハウスのようなデータを保存する基盤とBIツールを組み合わせることで初めて大規模なデータ活用が可能になります。

 

グラフのように目に見えるものだからこだわろうとするといくらでも時間をかけられますが

「シンプルに、わかりやすく、正しく伝わる」こと。

この基本の考えが本質的に大切なことを学びました。

 

中間演習

Pythonでデータの抽出と加工をし、CSVファイルに出力することが課題です。

APIからのデータ取得、Dockerで動かしているMySQLのデータベースとの接続など、演習に入るまでに学んできた内容を連携させる必要がありました。

この演習を通して、Pythonでデータを扱うことが具体的にどういうことなのかを学ぶことができました。

 

会社に入ってみての感想

会社の雰囲気

めちゃくちゃウェルカムです。

皆さん違った業界、業種を経験されており、未経験で飛び込む不安を知っておられるからなのか、お人柄なのか暖かく受け入れてくれます

この文化は会社の魅力であり、私自身も大切にしていきたいと感じました。

 

共有の場がある

2週に一度6〜7名編成のチームで開発定例を実施しています。

この場では、各自の業務で得た学びや課題の解決方法を共有し合っています。

それぞれ異なる業務の中での課題や解決策を知ることで、自身の業務における新しい目線での改善策を見出すことができる可能性が広がります。

また、アウトプットの場として言語化する力が養われるほか、知見のある先輩方に胸を借りられる場として参加できることも良いなと思いました。

 

出社が自由

入社初日は出社、次の日からリモートで研修となるため

ほんとにリモートワークです。

出社したいと思う方は自由に出社しても良いので、今日は誰かお会いできるかなと楽しみに出社するのもよいかもしれません。

(配属後は、配属先の出社ルールに準拠します ※2025/06時点)

 

理解が深まったこと

質問力

自走式研修において気をつけなければいけないことは、「できない自分を認めること」です。

研修資料を進めていくと必ず壁にぶつかります。

そんな時には、何がわかっていて、何がわからないのかを明確にして、教育部の方に質問をする力が必要になってきます。

質問力が課題解決に直結することを身をもって学べました。

 

共有意識

リモートで見えないからこそ報告を多く心がけることや、透明性を意識することが大切だと感じました。

進捗確認や夕会(meetでその日の振り返り)でこれは伝えなくてもいいかと自分で判断しないこと。今日の取り組み、わからないこと、学んだことはちゃんとお伝えすること。

何をやっているかを開示することは困った時に助けてくれる可能性が高まると思うので、この共有意識を高められて良かったと思います。

 

データエンジニアの職域

エンジニアと聞くとコーディングを連想しますが、コードを書くことが全てではありません。

企業がデータを活用したいと思っていることを実現することがデータエンジニアの役割であり、そのためにプログラミング言語やデータベース言語、クラウドや、その会社の事業領域への理解など、さまざまな知識を有してデータ基盤を作っていきます。

研修を通して、これまで曖昧だったデータエンジニアの役割が明確になりました。

 

独学でエンジニアになるために良いかもしれないこと

汎用的であり、普遍的な技術であるPython, SQLを学ぶことが良いのかなと思います。

業界業種とも未経験の私からお伝えできることは、とにかく手を動かして学ぶ。毎日10分でもいいから継続する。目標に向かっている意識を常に持つことです。

自分に向いてない、違うと思ったら方向転換しても良いと思います。

継続して何かを学び続けられることに喜びを感じられるかも大切だと思います。

 

これからの抱負

  • 顧客の期待に応えられる技術力をつける
  • 期待値の+αまで突き詰めること
  • 実務に関すること、興味のあることを学び続ける

 

エンジニアになるスタートラインに立つことはできました、

次の目標は期待値を超えられるエンジニアになることです。

 

改めて研修に関わってくださった皆さんありがとうございました。

そして、ここまで読んでいただきありがとうございます。

 

私がそうであったように、このブログが新しいチャレンジをしたいと思う方に届きますように。