こんにちは、FLINTERS BASEの鹿島です！
梅雨の季節がついにやってきましたね。
「今日は傘持ってく？どうする？？」
という悩ましい問答がいらないリモートワークが許可されてることに感謝です。
ということでFLINTERS BASEでは「梅雨にも負けない！ブログ祭り」が開催されています。
私が所属しているブログ祭りのチームにおいては、テーマを「成長」と設定しました。
データエンジニアとして働く中で感じた成長について書いていきたいと思います。
簡単に職務紹介
入社後、研修を終えてデータエンジニアとして約2年が経ちました。
業務ではGCP環境でのCDP構築案件に関わる中で、AirflowやWorkflowsを用いてデータパイプライン構築を行ってきました。
実務における情報収集と手段の拡充 準備することの大切さ
必要な情報を集める
研修やプログラミングスクールとは異なり、実際の業務では開発に必要な情報は待っていても十分に手に入りません。
抽象的な要件をすり合わせること、ファイルの拡張子やデータ型など、細かいことを含め確認すべき情報は多々存在します。
理想的な形ではありませんが、要件が煮詰まる前に先行して開発に着手しなければならない場合もあります。
常に情報を取りにいく姿勢で、事前に準備することがスムーズな開発を進めるために重要だと気づきました。
手段を増やす
一般的にプログラミングにおいて何かの機能を構築したい場合、複数の方法があります。
例えば、どのサービスを使用し、どの言語で記述するかなど、あらゆる組み合わせが考えられます。
データエンジニアリングでも同様で、そのバリエーションは比較的多いと感じています。
クラウドサービスを扱う時、データの増加に伴いかかる費用・処理時間は比例していきます。
データはコストパフォーマンスを意識して扱うことが前提で、パイプラインを構築する手段が多いほど最適な方法を選択できる可能性が広がります。
中からより良いアーキテクチャを検討できるようになったことに大きな成長を感じました。
おわりに
今回の記事では準備の重要性について書き綴ってきました。
データ量に対して適切な方法ではなかったり、既存のシステムとの兼ね合いなどで実際の現場では10準備したうちの1しか使わないこともあります。
しかし、この使われなかったものも自分の糧になっていると感じています。
私にとって成長は、準備を怠らないことから得られるものであると信じています。
