こんにちは。FLINTERS BASEでデータエンジニアをしている桑野です。
最近、エンジニアやエンジニアを目指す方々と話す中で、
といった声をよく耳にします。
一方で、データエンジニアはソフトウェアエンジニアやWebエンジニアと比べると情報が少なく、実際の仕事内容やキャリアのイメージを掴みにくい職種でもあります。
そこで本記事では、「まずはデータエンジニアについて知りたい」という方向けに、できるだけお金をかけずに仕事内容や必要なスキル、業務の雰囲気を理解する方法を紹介します。
データエンジニアという仕事の輪郭を掴み、自分に合っているかを判断するための一助になれば嬉しいです。
続きを読むみなさん、こんにちは！FLINTERS BASE 19期生の五十嵐です。
唐突ですが、私の大好物はお寿司、特に「ブリ」です（笑）
「なんでデータエンジニアのブログでブリの話？」と思われるかもしれませんが、実は研修の集大成である総合演習のデータ分析で、私はこの『ブリ』の漁獲量データを20年分、必死に追いかけることになるのです。
そんなブリへの愛を技術に変えた完全未経験の私が、なぜ今こうしてデータエンジニアとしての第一歩を踏み出しているのか、この3ヶ月間の研修を振り返りながらお伝えしたいと思います。
前職では、まったくの異業種である人材派遣会社の管理者を務めていました。そのため、これまでの経歴の中でITに関連する仕事や経験は本当に1つもありません（笑）
そんな完全未経験の私でしたが、前職で日々の業務をこなす中で「エンジニアという職種に挑戦し、自分の手で仕組みを作ってみたい」という強い気持ちが芽生えるようになりました。
安定して働けている環境でもあり迷いもありましたが、「やるなら今しかない」と思い切って退職を決意。プログラミングスクールに通って基礎を猛勉強し、縁あってFLINTERS BASEへ入社、現在はこうしてデータエンジニアとしての第一歩を踏み出すことができています。
FLINTERS BASEの研修カリキュラムは、驚くほど広範囲で実践的です。PythonやSQLといった基礎から始まり、Docker、Terraform、Google Cloud、そしてDigdagやAirflowといったETLツールまで、モダンなデータ基盤構築に必要な技術を一気通貫で学びます。
最初はその圧倒的なボリュームに圧倒される日々でしたが、その中でも特に私の印象に深く残っている研修を3つご紹介します！
プログラミングスクール時代にもGitHubを使ってはいましたが、当時は「一般的に使う最低限のコマンド」をなぞるだけでした。しかし、今回の研修ではチーム開発を見据えた実践的なコマンドや運用方法を学び、「公式ドキュメントを確認すると、こんな便利な使い方があったのか！」と驚くことばかり。GitHubの奥深さと、ドキュメントを読み解く重要性を知る良いきっかけになりました。
「可視化とは何か」という概念から始まり、実際にダッシュボードを作成する研修です。PythonやSQLといったプログラミングとは違い、画面を操作するBIツールは「エラーメッセージが出ないのに、思った通りのグラフや配置にならない」という難しさがあり、実はかなり苦手意識を感じていました（笑）。
ですが、できないまま終わらせるのがどうしても悔しくて、自主的にYouTubeのチュートリアル動画を見て操作方法を猛勉強。泥臭く何通りも試行錯誤を繰り返し、最終的に自分の納得のいくダッシュボードを完成させたときの嬉しさは、今でも鮮明に覚えています。
正直、中盤までは一つひとつの技術（点）を覚えるだけで必死でした。しかし、最後の「総合演習」に入った瞬間、今まで学んできたバラバラの知識という『点』と『点』が、一本の綺麗な『線』として繋がる最高の感覚を味わいました。
自分でインフラをコード化（Terraform）し、データを蓄積して（Google Cloud / BigQuery）、パイプラインを動かし（Digdag）、最後はダッシュボードで表現する（Looker Studio）。この一連のデータパイプラインを自分の手でゼロから構築しました。
演習では、大好きな「温暖化の影響でサケが減り、ブリが増えている」というニュースの真相を確かめるため、20年分の漁獲量と海面水温のデータを統合・可視化しました。「身近な疑問をデータの力で証明できた」という感動は、何にも代えがたいものでした。
この3ヶ月間の研修で、私はテクニカルな技術の習得以上に、エンジニアとしてこれから何年も支えになってくれる「一生モノの2つの強み」を得ることができました。
研修中では毎日日報を書くのですが、私はただ作業を記録するだけでなく、「今日どこまでできて、何が課題として残ったか」「それを踏まえて明日は何を行うべきか」を徹底的に整理する『型』を意識し続けました。自分の現在地と次のステップを常に正しく把握する習慣がついたことで、どんなに難しいフェーズでも迷うことなく、スケジュール通りに計画的に進める力が身につきました。
総合演習の中では、ローカル環境の制限でSlack通知が飛ばない予期せぬトラブルや、BIツールの独特な仕様に手こずる場面が何度もありました。しかし、そこでただ誰かに答えを求めるのではなく、公式ドキュメントを読み込んだり、YouTubeの解説動画を探したりして自ら仮説を立てて検証を繰り返しました。泥臭く試行錯誤した末に突破したとき、「分からない」を自分の力で「できる」に変える最高の楽しさを知りました。この「自分で調べて答えを導き出せる」というマインドは、これからの大きな自信です。
研修は決して簡単なことばかりではありませんでしたが、挫折せずに走りきれたのはFLINTERS BASEの「温かい雰囲気」のおかげです。
特に驚いたのは、教育部の先輩方の圧倒的なレスポンスの速さと的確さです。質問やレビューを依頼すると、すぐに「考えるヒント」を交えたフィードバックが返ってくるため、未経験の私でも常に大きな安心感を持って挑戦できました。
毎日エラーと戦って頭を抱えていましたが、問題が解けた瞬間に同期や先輩が一緒に「ナイス！」と喜んでくれる、そんな温かい心理的安全性がある会社です。
いよいよ実務への配属です。正直「現場でやっていけるか」という不安はありますが、3ヶ月間でたくさんの「分からない」を突破してきた事実が背中を押してくれています。
これからは業務の中でさらに知識を蓄え、最後までやり遂げる責任感と丁寧なコミュニケーションを積み重ねることで、周囲から「この仕事は五十嵐に任せれば安心だ」と100%信頼されるエンジニアを目指します！
以上です！！
最後まで読んでいただきありがとうございます。
こんにちは！FLINTERS BASEでデータエンジニアをしている梶山です。
データ界隈で大人気の「DuckDB」ですが、実はグラフクエリもサポートしていることをご存知でしょうか？
近年、オントロジーやGraphRAG、ナレッジグラフなどの文脈で「グラフデータ」が再び大きな注目を集めています。以前はNeo4jなどの専用グラフデータベースをわざわざ構築したり、普通のSQLでめちゃくちゃ頑張ってJOINしまくる必要がありましたが、最近ではGoogle CloudのBigQueryでも既存のテーブルをグラフとして扱える「BigQuery Graph（仮想グラフ機能）」がGA（一般提供）されるなど、標準SQL（SQL/PGQ）やGQLを用いて手軽にグラフ分析ができる時代が到来しています。
仮想グラフというのは簡単にいうと、データの実態は普通のリレーショナルテーブル（行と列）のまま、その上に『これはグラフですよ』という仮想的なレイヤー（ビュー）を被せるみたいな感じです。
そこで今回は、ローカル（今回はGoogle Colaboratory）環境で動作するDuckDBを使って、このトレンドである「仮想グラフ（SQL/PGQ）」の概念と基本的な使い方を体験してみましょう！
続きを読むこんにちは！3月に入社した19期生の早川です。
約3ヶ月に及ぶ研修を終えて、思ったことなどを書いていきます。
私はこれまで、看護師として10年ほど働いていました。それなりに充実した日々を過ごしていましたが、今後の中・長期的なキャリアを考える中で、転職を決意いたしました。
数ヶ月前の私は不安でいっぱいの中、この企業ブログを見ていました。同じような状況で見てくださっている方の参考になれば幸いです。
前職を退職した時点では、ITに興味がありつつも何も準備はできていませんでした。
退職後に、「行動を起こさないと」と焦りつつITパスポート試験を受験し、データ系に興味を持ち、データサイエンスの講座を受講しました。
その時に、PythonやR言語を少し触りましたが、分析のコードは基本コピペで、コードの意味までは全然理解できていませんでした。
転職時期が近づくにつれて、「こんなレベルで大丈夫なのか」と焦り、SQLやPythonを独学で学習していましたが、入社直前まで不安は尽きませんでした。
転職の中でも一番怖かったのは、「転職先でデータエンジニアとしてのキャリアを積むことができるのか」ということでした。
ですが、結果としてFLINTERS BASEに入社できてよかったと心から思っています。
約3ヶ月の研修スケジュールが組まれており、振り返ってみると改めて色々なことを学んだなぁ...としみじみしました。
研修は「エンジニアとしての学習の進め方」といった基礎的な部分から始まり、エンジニアリングの基礎研修、そしてデータエンジニアとしてのより専門的な研修へと、段階的に進んでいきました。
入社直後は、Linuxのコマンドについても全然知らなかったです...
ペンギンは見たことあったけど、あ、これなのか、という感じでした。
「先頭の$はターミナルに打たないのか！」と（心の中でこっそり）思ったりしていたくらいのところから始まりました。
それに比べて、同期はエンジニアのスクールで専門的に学んできており、私と比べると圧倒的な知識の量で「これは本気で食らいついていかないとやばい！」と良い意味で焦りを感じました。そんなこともあり、私にとって非常に印象深い研修です。
初めはターミナルの黒い画面を見るたびに「画面でポチポチ操作した方が楽だな」と思っていましたが、いつしか「ターミナルの方が楽」と思えるようになり、自分でもびっくりしました。
全くわからない状態からでも理解できるようになるくらい、資料では1から説明してくれています！
研修の中で、一番つまずいたのが「Docker」でした。
「Dockerは、コンテナ技術を利用してアプリケーションを効率的にデプロイ、スケール、および管理するためのプラットフォームです。」
......最初は、概念すら全く理解できませんでした。
でも、研修のハンズオンで手を動かしながら、エラーが出るたびに調べたり、教育部の方や先輩、同期に質問することで、少しずつ理解を深めていくことができました。
正直、研修が終わった今でも完璧に分かったとは言えません。ですが、この研修を通して「完璧にわかっていなくても、まずは手を動かす」という姿勢が身についた気がします。
データエンジニアぽくて面白い！と思った研修でした。
Airflowはワークフロー管理ツールのことです。Airflowでは、連携するためにPythonの知識や、連携先のGCSやBigQueryなどのツールの知識も必要とされます。
「LinuxコマンドでDockerを動かし、Pythonで処理を書いて、GCSからBigQueryにデータを移動させる」というように、今まで学習したことが繋がっていくことを実感できました。
また、ETL研修では2つのツールに触れる機会があり、それぞれの違いを体感できたことで、他のツールも勉強してみたいと思えました！
入社して一番最初に感じたのは、とにかく「人がいい」ということでした。
入社前にエージェント経由の説明会で社長やマネージャーの方とお話しした際、「あ、いい人たちだな」と感じたのですが、その印象は入社後も全く変わっていません。
社内には色々な経験をされてきた方が多く、良い人たちばかりだなと感じる毎日です。
私が年齢的な不安を感じていたのに対し、みなさんが分け隔てなくフラットに接してくださり、色々と教えてくださるのも本当にありがたいなと感じます。
また、サポート体制があるのも安心感に繋がっています。教育部の方々も優しい方ばかりで、社内チャットや定期報告の際にも質問しやすい雰囲気を作ってくれています。それに加えて、教育部との1on1やメンターさんとの面談など、定期的にサポートの場が用意されているのも心強いです。
教育部との1on1では、キャリアの相談もできます。もちろん、クライアントワークという特性上、最初から100％希望通りのプロジェクトに参画できるとは限らないかもしれません。
ですが、定期的な1on1などを通じて親身に今後のキャリアや希望を聞いていただけるため、スタッフの思いを大切にしてくださっているのが伝わってきます。
まずは、1日も早くクライアント企業や会社に貢献できるエンジニアを目指していきます。
前職とは違う形ですが、クライアントが言葉にできていない課題やニーズを捉えて、それに技術やデータで応えられるデータエンジニアになれたらと思っています。
異業種からの転職だからこそ持てる視点を強みにして、これからのキャリアを歩んでいきたいです。
長くなってしまいましたが、最後まで読んでいただきありがとうございました！
はじめまして、FLINTERS BASE18期の大類と申します。
3ヶ月の研修を終えたので、振り返ってみたいと思います。
前職は自動車整備士の仕事をしており、日々車のメンテナンスや、高度な技術に触れる中で、多くの学びを得ました。
しかし、急速に発展するIT業界に強く惹かれ、プログラミングスクールで学び、エンジニアを目指すことを決意しました。
基礎から応用まで内容が濃く、やりがいのある研修が多くあります。
Gitを使ったソースコード管理を学ぶことができました。
特に機密情報を扱う場面で、安全にコードを管理する方法を学ぶことができました。
演習問題の提出もGitを使う為、自然に慣れと自信をつけることができました。
データの抽出、加工、ロードする流れを体系的に学ぶことができました。データエンジニアとしての役割や責任を実感できた研修であり、データの流れを設計し、信頼性の高い基盤を作ることで、価値を提供する。そんなデータエンジニアの本質に少し近づけた研修でした。
研修の集大成。実践的な一連のシステム構築を行います。今まで学んできたスキルを活かして、実際のシステム構築を行います。単なる知識の確認にとどまらず、課題解決のための設計や、データの処理、運用の流れまで自分で考え、実践できたことで自信と理解が深まりました。
未経験の方にとっては、特にいい環境です。充実した研修が用意されており、『気づいたら自然と身についている』そんな力を得ることができる研修が多いです。
優しい方が多く、みんなで助け合う。そんな雰囲気を感じる会社です。
困った時にはすぐにサポートをしてくれるので集中して研修に取り組むことができました。
また、自分のキャリアパスも相談しやすい環境なので、ぼんやりと業務をするのではなく、自らの目標を常に意識しながら業務に取り組むことができます。
自分の強みや興味を大切に、主体的に成長していけると感じてます。
環境や仕事を変えるチャレンジは勇気がいることだとは思いますが、この記事が何かのきっかけになれば幸いです。
最後まで読んでいただき、ありがとうございました！
こんにちは、FLINTERS BASE17期生の川田です。
この度、3ヶ月間にわたる研修を無事、卒業することができました。 今は達成感とここからが本番という思いが混じっています。
今回は研修の総括として、エンジニアとしての出発点から振り返ってみたいと思います。
続きを読む