NPL研修を受講して

こんにちは。今回は、先日参加したNew Project Leader研修(NPL研修)について、その学びと感想を共有したいと思います。NPL研修とは何か、どのような経験が得られたのか、これから受講を検討されている方々にとって参考になれば幸いです。

 

NPL研修とは

詳細はこちらのブログを参照

blog.flinters-base.co.jp

 

どのような考え、気持ちで応募・受講したのか

当時、私は現場でデータ基盤の構築に携わっていましたが、手探り状態で進めることが多く、データエンジニアリングの土台となる考え方や知識を体系的に身につけたいと考えていました。

また、新しい技術領域に挑戦するのが好きなので、NPL研修の募集を知り、これは絶好の機会だと思い、迷わず応募しました。

 

学びになったこと

 データ検証

NPL研修のデータ検証に関するカリキュラムを受講したことで、データ検証の重要性を改めて認識し、実業務におけるデータ検証の提案に繋げることができました。

研修を受講するまでは、リリース時のテストで数値が合致していれば問題ないという認識で運用していました。しかし、データは常に変動するため、継続的な監視の重要性を学び、現場でデータ検証システムの構築と運用設計を行いました。現在では、上記システムを全案件に導入し、データの信頼性向上に貢献しています。

 

個人情報保護

個人情報保護については、基本的な知識は持ち合わせていたものの、研修における演習を通して、より実践的な理解を深めることができました。生成AIが台頭してきている今だからこそ、データエンジニアとして個人情報保護に関する知識は必須であると改めて認識しました。法規制や倫理的な側面についても再考する良い機会となりました。

 

データモデリング

研修内でデータベーススペシャリスト試験の問題に触れたことが、資格取得への意欲を高めるきっかけとなりました。業務でデータ基盤を構築する上で、データモデリングの知識は不可欠であると感じていたため、資格取得に向けて学習を始める良い動機付けとなりました。

 

研修の雰囲気や仕組み

研修は基本的にオンライン形式で提供され、週に一度、進捗共有のためのMTGが設けられています。個々の参加者が自身のペースに合わせて学習を進められる点が特徴です。

進捗共有MTGでは、各自の進捗状況や課題を共有し、講師の方々からアドバイスをいただくことができます。

また、他の参加者との意見交換を通じて、新たな視点や知識を得ることもできました。研修期間中は、講師の方々へ質問や相談をすることができ、疑問点を解消しながら学習を進めることができました。

 

感想

NPL研修を受講したことで、日々の業務に対する意識が大きく変わりました。同じ参加者と意見交換をしたり、普段の業務では触れることのない技術や知識領域を学ぶことで視野が広がり、自身の理解が不足している点を明確に認識できたことは大きな収穫でした。

また、研修で得た知識を活かして、データ検証システムの構築に貢献できたことは、大きな自信に繋がりました。

 

まとめ

NPL研修は、データエンジニアリングのスキル向上を目指すエンジニアにとって、非常に有益な機会となるでしょう。データエンジニアとしての基礎力強化だけでなく、新しい技術への挑戦意欲を高めることができる研修だと感じました。

Polarsの贅沢な使い方

こんにちは!FLINTERS BASEの梶山です。
今回はPolarsの贅沢な使い方について知ってもらおうと思います。

結論

PolarsはRust製でPandasに比べて処理が速いというイメージがありますよね。 そのPolarsの贅沢な使い方。それは、、、csvリーダーとして使うことです!
もっと具体的にいうとNULLが,,で空文字が""で表現されているcsvファイルで空文字とNULLを区別したいときです。(下記のようなcsv)

col1,col2,col3
"",,1
続きを読む

ひよっこデータエンジニアの誕生

はじめまして。

FLINTERS BASE 15期生の髙木と申します。

今回、未経験からデータエンジニアに転職し3ヶ月の研修を終えたので振り返りとして共有できればなと思います。

これからエンジニアとしてキャリアを築きたい方々へ、少しでも参考になれば幸いです。

 

続きを読む

社内の知識共有を加速させる「記事執筆リレー」の取り組み紹介

こんにちは!勉強会担当福島です。

私たちは社内の知識の共有やコミュニケーションをさらに活発にしたいという思いから、「記事執筆リレー」社内イベントを開催しました。

これは、有志で集まった人たちがバトンを繋ぐように、社内のナレッジ共有ツールに記事を毎日投稿していくというシンプルな企画です。

今回は、この2週間のリレーで生まれた多種多様な記事たちと、企画を通じて社内に生まれたポジティブな変化についてご紹介します!

続きを読む

BASE研修を受けた今と昔

はじめに

こんにちは。

FLINTERS BASE 14期生の秋葉です。

突然ですが、

「仕事って、毎日同じことの繰り返しで、成長してる実感がないな…」

「今の会社って、自分に合ってるのかな?」

そんな風に感じたことはありませんか?

実は、私も以前はそうでした。

しかし、このFLINTERS BASEに入り、研修を終えた今の自分は、

続きを読む

生成AIだけじゃない、GNNでデータの関係性を捉えよう!

こんにちは!FLINTERS BASEの梶山です!

今回はGNN(グラフニューラルネットワーク)について簡単に紹介したいと思います!
世の中は生成AI(LLM)ブーム真っ只中でChatGPTやGemini,Claudeなどが注目を集めています。最近ではMCPサーバーとかも流行っていますね。とはいえ、まだまだ生成AIだけではできないことや精度が足りなかったりするタスクがあります。 例えば、SNSでのユーザー間のつながり、分子構造、交通ネットワークなど、「関係性」が重要な意味を持つデータは日々増加しています。LLMでもこういった構造化データを扱おうとする試みはありますが限界もあります。
そこで登場するのがGNNです。GNNはデータ間の関係性そのものを学習できるディープラーニングの一種です。GNNはデータ間の関係性を直接学習することができます。

続きを読む