システムエンジニアからデータエンジニアへ転向したお話

2023年4月入社の桐生と申します。3ヶ月の研修を終えましたので、研修内容の感想を共有します。

FLINTERS BASEでエンジニアを目指したい方に、少しでもお役に立てたら幸いです。

これまでの経歴と入社について

私はエンジニア14年目で、これまでは .NET Framework を使用したWindows向けの業務アプリ開発や、ECサイトの開発などに携わってきました。(現在36歳でFLINTERS BASEのエンジニアの中では年長組となります。)

とはいえ、データエンジニアとしての知識はほとんどなく、年齢のこともあり入社することができるか不安でしたが、データエンジニアへの熱意が通じたのでしょうか、内定をいただくことができました。

後から聞いた話ですが、「FLINTERS BASEは年齢を重視していません。その方の人間性や学習意欲を見ています。」とのことでした。素敵ですね!

研修内容について

以下3つについて少し触れていきたいと思います。

  • Git研修
  • GCP
  • 分散処理

Git研修

Gitとは、ざっくりいうとファイルのバージョン管理が簡単にできるツールです。チームで開発する際においても必須の知識となります。 これまでのエンジニア経験の中でGitは使用してきたので、概念や操作の流れは理解していました。しかし、研修ではGitをCUIで操作します。 私はGUIでの経験しかなかったので、新鮮な気持ちで研修を受けることができました。

Git研修は数ある研修の中でも最初の方で行われます。以降の研修において、Gitを活用して成果物を提出するためです。 最初は慣れなくても、他の研修を進めていくうちに自然と扱えるようになっていきます。安心してください!

もうひとつ安心な点として、誤って企業の機密情報をGitに載せてしまったことを想定した対応についても研修を行います。 起こってほしくはないことですが、アクシデントが発生した時の適切な対応や2次被害を出さないための知識もしっかり学べます。

GCPGoogle Cloud Platform)

Googleが提供している様々なクラウドサービスの総称です。 研修では、「クラウドとは?」から始まり、 データ基盤構築でよく活用されるGCS(Google Cloud Storage)やBigQueryについてハンズオンで学びます。 GCPの扱いは初めてでしたが、ハンズオンを行うことで理解を深めることができたと感じています。

サービスの使い方の他にも、料金のコントロールやスケジュール実行などの実務で必要な知識も研修資料にまとめられているため、 必要に応じていつでも見返すことができます。ありがたいです!

実践的な内容となっていますので、データエンジニア業務について理解が深まること間違いありません。

分散処理

データエンジニアはデータを集めるだけではありません。 大量のデータ扱う場合は、データ加工などの処理に時間が掛かってしまうケースがありますが、 決められた時間までに処理を完了させ、利用者にデータを届けなければなりません。 そこで、大量のデータを効率的に処理するための手法として分散処理を取り入れます。 手法の一つとして、マルチスレッドやマルチプロセスを使用することで、 複数の計算ノードを使用して処理を分散させることができます。 これにより、計算の負荷を分散し、処理速度を向上させることが可能となります。

実際にハンズオンを通して速度の違いを体感し、深い理解を得られる研修内容でした。

研修を終えて

3ヶ月という長期に渡り、データエンジニアに特化した研修を受けさせていただきました。 サポートいただいた教育チームの皆さん、共に切磋琢磨した同期の皆さん、本当にありがとうございました。

研修内容は決して簡単なものではなく、やり遂げられたことで自信となりました。 ですが、まだデータエンジニアとしてのスタートラインに立てたという状況だと思います。

データエンジニアが使用する技術、ツール、サービスなどは多岐にわたるため、 継続的に知識の積み上げやアップデートが必要だと感じています。

これからの抱負

研修を終え、7月から配属となります。正直あまり不安を感じていません。

FLINTERS BASEには、勉強意欲に満ち溢れた先輩社員がたくさん在籍しています。 技術的に困ったとしても相談する相手がいるのと、社員同士の繋がりやコミュニケーションを大切にしている会社だからです。

少しずつ確実に知識を深めて、頼りにされるデータエンジニアになれるよう邁進していきます!