3ヶ月のデータエンジニア研修を受けた感想

初めまして、2023年4月入社の髙橋と申します。

この度、入社後約3ヶ月の研修を終了致しましたので、振り返りを共有させていただきたいと思います。

成長できたこと

データエンジニアとは何かを抑えられた

入社前のプログラミングスクールでの学習内容はRubyでWebアプリケーションを作るというものでした。

データ関連の知識は全くなかったのですが、研修を通して、データエンジニアとは何か、データ周りの基礎的な知識、データ基盤とアーキテクチャ、データの処理の一連の流れを理解することができました。

エラーだけでなく、ログを見ようとする意識がついた

私は今までエラーが起こった際、エラーの内容だけを見て該当箇所を探し解決しようとしていました。しかし、それだけでは原因を突き止められないことが多かったです。

この三ヶ月の研修を通して、データのやり取りのため大量に流れるログを見て、どこからどこまでが何の処理をしていて、どれだけ時間がかかりどこまでは成功しているということを理解するようになりました。

ログを見ることで、この処理の時に何が原因で失敗しているようだから該当のファイルの内容はここかここら辺だろうと言った見方・考え方が身についてきたように感じます。

質問の仕方の足りない部分を自覚

研修期間中、質問はできるだけ文字に起こすという方針に則ることで、自分がつまづいている部分を明確にすると同時に、質問される側の必要な情報や情報の渡し方について自分に問題がある部分を見直すことができました。

Git のプルリクやコミットメッセージの書き方を抑えられた

スクールでは、Gitのコミットメッセージの書き方は暗黙のルールとなっているところもあると聞いていたので、丁寧に研修があり実践できる機会が多くあったことは大変ありがたかったです。

研修内容について

マインドセット

エンジニアとして成長するため、活躍するための姿勢や考え方を学びます。また、それらを受けての研修期間中の過ごし方や働き方についても触れられています。

感想

この研修でプログラマー3大美徳の中に怠惰があることを学びました。

同じ質問に何度も答えなくてもいいようにドキュメントを書くことなどを指すのですが、研修中に実感したことは、わからないことがあったらSlackや社内サイトで検索すればヒットすることが多いということでした。社内でしっかり実践されていることを感じられました。

また、個人的には、研修に際して、学ぶことをすべて理解する必要はなく知識がついてきたら学び直すのが良いという内容に救われました。一度触れたことがある内容は次に触れた時には知っている内容になっているはずですので、理解が深まるものだと思います。復習をしたり、学び直した際に、そういうことだったのかという発見をし、自分の中に落とし込んで自分のものにしていきたいです。

Linux基礎

感想

OSとは何か、から丁寧に解説があり、用語の解説では今まで気にしたことがなかったコンピュータの仕組みを理解することができました。

Linuxコマンドや環境変数の使い方、権限の参照や設定など、今後絶対に必要となる基本的な操作を身につけることができたと感じます。

ETL(Digdag + Embulk + 概要)

  • 環境構築
  • Embulk実践
  • Digdag実践
感想

データエンジニアの仕事を一番感じた研修でした。

DWHでのデータ統合・BIツールでの可視化に向けて、データ分析基盤を構築する上ではETL(Extract, Transform, Load)処理というものを行います。

研修では、Embulkでデータをロードし、Digdagでタスクを設定し実行させ、BigQueryにロードするということを行いました。

Airflowと比べると、EmbulkもDigdagも直感的にわかりやすい書き方で楽しく学べました。

会社に入ってみての感想・雰囲気について

リモートワークは少し不安もあったのですが、杞憂だったなと感じています。

時間を有効的に使える上、心配していた会社との繋がりは定期的な1on1やメンター面談、シャッフルランチ(ランダムな社員メンバー6名ずつくらいでオンライン上で一緒にご飯を食べながら親交を深める場)などでとても感じることができました。

先輩方はどの方も、聞きたいことなどがあれば個人的に連絡をくれても全然大丈夫と言ってくださって、本当にいい方ばかりです。

同期も、オンラインで話しながら研修を進めたり、話しやすくてとても安心しています。

また、会社の制度も充実しているなと感じます。

業務機器支援や自己啓発支援、書籍購入補助などがあり、私はモニターを頼んでみたのですが、2画面になってとても仕事がしやすくなりました。

今後は勉強のため、書籍を利用したいと考えています。

これからの抱負

これから配属が決まってくると思います。

今もまだ技術的に足りないものが多いですが、学び続けることで少しずつでも成長し、エンジニアとして貢献できるようになっていきたいです!