powered by TechFeed
表示モード
ハウツー

Google CloudがAIエージェントでAirflowの障害診断〜バージョン移行を自動化 — 「何が壊れたか探す時間」をなくす新アプローチ

11月21日、Google Cloudが「Scaling Airflow pipelines with AI agents on Managed Airflow」と題した記事を公開した。この記事では、AIエージェントを活用してAirflowパイプラインの障害診断・環境最適化・バージョン移行を自動化し、Black Fridayの大規模トラフィックに対応した実装事例について詳しく紹介されている。問題の本質:「何が壊れたか」を探す時間こそがコストAirflowのパイプラインが本番で落ちたとき、難しいのは修正ではなく「何を修正すべきか」の特定だ。タスクがスタックトレースもなく死ぬ。コードか、データか、環境か。手がかりはタスクログ・スケジューラーログ・ワーカーメトリクスにバラバラに散らばっている。Google CloudのManaged Service for Apache Airflow(旧Cloud Composer)は、このトラブルシューティングの「調査フェーズ」をAIエージェントで自動化する機能を提供している。記事はフィクションのECサイト「Cymbal Shops」のデータエンジニア、...

11月21日、Google Cloudが「Scaling Airflow pipelines with AI agents on Managed Airflow」と題した記事を公開した。この記事では、AIエージェントを活用してAirflowパイプラインの障害診断・環境最適化・バージョン移行を自動化し、Black Fridayの大規模トラフィックに対応した実装事例について詳しく紹介されている。

問題の本質:「何が壊れたか」を探す時間こそがコスト

Airflowのパイプラインが本番で落ちたとき、難しいのは修正ではなく「何を修正すべきか」の特定だ。タスクがスタックトレースもなく死ぬ。コードか、データか、環境か。手がかりはタスクログ・スケジューラーログ・ワーカーメトリクスにバラバラに散らばっている。

Google CloudのManaged Service for Apache Airflow(旧Cloud Composer)は、このトラブルシューティングの「調査フェーズ」をAIエージェントで自動化する機能を提供している。

記事はフィクションのECサイト「Cymbal Shops」のデータエンジニア、Amiraの実体験という形式でこの機能群を解説している。

シナリオ:キャンペーンでOOM、Black Fridayを前に詰む

Amiraが管理するパイプラインclickstream_hourlyは、Pub/SubからCloud Storageに書き込まれたクリックストリームのJSONファイルを1時間ごとに読み込み、pandasで変換してBigQueryに投入するDAGだ。ワーカーは2vCPU・4GBメモリ・最大6台のオートスケール構成で動いている。

通常時は1時間あたり約200ファイル・350MBで問題なかった。ところが10月下旬、キャンペーン開始と新モバイルアプリのリリースが重なった。新バージョンのイベントは旧バージョンの約3倍のサイズになり、1時間のデータ量が350MBから1.4GBへ急増。pandasで全ファイルをメモリ上に展開する設計では、ワーカーの4GBを超えてOOM(メモリ不足)でタスクが落ちるようになった。

オートスケールは「タスクが詰まったときにワーカーを増やす」仕組みであり、1タスクが使えるメモリの上限は変わらない。これは根本的な設計の問題だ。

AIエージェントによる3ステップの対応

ステップ1:Managed Airflow Agentによる障害調査

GCPコンソールのDAG一覧から失敗したRunの横にある「Investigate」ボタンをクリックするだけで、Managed Airflow Agentが調査を開始する。

エージェントはワーカーのメモリメトリクスとタスクのリトライ履歴を突き合わせ、OOMが原因であること、どの時刻のどのタスクで発生したかを証拠付きで報告する。推論の根拠となる数値も一緒に提示されるため、人間が内容を検証できる設計になっている点が特徴だ。

提案された修正は3つ:①ファイルを直接BigQueryにロード、②バッチ処理に分割、③ワーカーのメモリを増やす。

ステップ2:環境全体の推奨設定

コードの修正には時間がかかる。まず即効性のある対処として、Amiraはエージェントに環境全体の分析を依頼した:

"clickstream_hourly runs out of memory on 4 GB workers. Analyze the cymbal-prod environment and recommend how much worker memory it needs, along with any other improvements."

エージェントはワーカーメモリを4GBから8GBへ増やすよう推奨し、加えて3つの本番準備上の問題——データベース保持ポリシーの未設定、高可用性構成の未対応、スナップショットの未設定——を指摘した。

Amiraはすぐに8GBへ変更。残りのキャンペーン期間は乗り切ったが、Black Fridayは通常ピークの8〜10倍が見込まれており、このままでは8GBでも確実に不足する。

ステップ3:Airflow 3へのアップグレード前チェック

Airflow 3はイベント駆動スケジューリングをネイティブサポートしており、「ファイルが着地した瞬間に処理する」設計が可能になる。これが本質的な解決策だ。

ただし、メジャーバージョンアップグレードは影響範囲の見極めが必要だ。Amiraはエージェントに事前チェックを依頼した:

"Check whether cymbal-prod is ready to upgrade to Airflow 3."

エージェントが検出したブロッカーは2件。①Airflowデータベースを手動でクリーンアップしているメンテナンスDAGがAirflow 3で禁止される、②marketing_attribution DAGが削除済みのexecution_dateを使用している。加えて4つのDAGでschedule_intervalをscheduleにリネームする必要があった。

Airflow 3で設計を根本から変える

新しいclickstream_ingest DAGでは設計を2点変更した:

  • スケジューリングをウォッチャーへ移行:PubsubPullTriggerをAssetWatcherから直接使い、トリガーが10秒ごとにPub/Subサブスクリプションを確認。メッセージが届くとアセットイベントが発火してDAGが起動する。毎時バッチもREST API呼び出し用の外部サービスも不要になった。
  • 1タスク1ファイル:Dynamic Task Mappingにより各ファイルに独立したタスクを割り当てる。ファイルは最大128MB。トラフィックが増えると「タスクの数」が増えるが、「タスクのサイズ」は変わらない。

負荷テスト(通常ピーク×8倍の再生)での結果を比較すると:

項目 Before(Airflow 2・時間バッチ) After(Airflow 3・イベント駆動)
処理単位 1クロック時間(通常350MB、ピーク1.4GB) 1ファイル(最大128MB)
タスクのピークメモリ キャンペーンピーク時で5〜6GB 常に1GB未満
クリックからBigQueryまで 1時間超 数分

記事中ではこれらの数値について、負荷テスト時にCloud MonitoringのワーカーメモリメトリクスとAirflowタスクログを照合した結果として説明されている。BeforeはOOMが多発した10月下旬のキャンペーン期間中の実測値、Afterは同等の負荷を再現した負荷テスト時の計測値であり、計測条件は同一のワーカー構成(2vCPU)のもとで行われたとされている。

設計上のポイント

記事が強調しているのは「エージェントが提案し、人間が決定する」という役割分担だ。Managed Airflow Agentはコンソールでテレメトリを読み取るだけで変更は加えない。変更はAmiraが自分でコンソールやIDEから実行する。コードの変更はIDEのData Agent Kitが生成するが、レビューと承認は人間が行う。

また、各ステップが次のステップへの橋渡しになっている構造も注目点だ。障害レポートが環境レビューを引き出し、アップグレード前チェックが移行作業のスコープを確定させ、移行ツールがその結果を受け取って実行する。

なお記事では、IDEとコンソール以外の活用方法として、Managed Airflow MCPサーバーを通じて独自のエージェントを接続する手段も紹介されているが、本事例では使用していない。MCPサーバーの詳細についてはManaged Service for Apache Airflowの公式ドキュメントを参照されたい。

詳細はScaling Airflow pipelines with AI agents on Managed Airflowを参照していただきたい。