powered by TechFeed
表示モード
Deep Dive

ETLパイプラインのエラー修正をAIが自律的に完結 — AWS、検出・修正・プルリクエスト生成まで自動化するアーキテクチャを公開

11月14日、AWSが「Build a self-healing ETL pipeline with Amazon Bedrock AgentCore」と題した記事を公開した。ETLパイプラインのエラー対応は「検出→トリアージ→パッチ→再デプロイ」というサイクルをエンジニアが手動で回し続ける構造になりがちだが、この記事が提示するアーキテクチャはそのサイクル全体をAIエージェントに委譲し、プルリクエスト生成まで含めて自律完結させる。データ量が増えるほど破綻しやすい従来の運用モデルに対するAWSの回答だ。

11月14日、AWSが「Build a self-healing ETL pipeline with Amazon Bedrock AgentCore」と題した記事を公開した。ETLパイプラインのエラー対応は「検出→トリアージ→パッチ→再デプロイ」というサイクルをエンジニアが手動で回し続ける構造になりがちだが、この記事が提示するアーキテクチャはそのサイクル全体をAIエージェントに委譲し、プルリクエスト生成まで含めて自律完結させる。データ量が増えるほど破綻しやすい従来の運用モデルに対するAWSの回答だ。


ETLパイプラインが「壊れ続ける」問題

スキーマのずれ(Schema drift)、フィールド欠損、型不一致。ETLパイプラインが吐き出す不正レコードは、発見から修正まで典型的に「検出→トリアージ→パッチ→再デプロイ」のサイクルを要し、そのたびにエンジニアが呼ばれる。データ量が増えるほどこのサイクルは破綻する。

この記事が紹介するのは、AWS GlueとAmazon Bedrock AgentCoreを組み合わせて構築するセルフヒーリングETLパイプラインだ。不正レコードを自動修正してデータレイクに書き戻し、オプションで同じエラーの再発防止のためのプルリクエストまで自動生成する。

用語補足:Amazon Bedrock AgentCore
2025年にGAされたAWSのマネージドランタイムで、AIエージェントをコンテナとして本番デプロイ・実行するための基盤を提供する。従来のAmazon Bedrockエージェント(コンソールやAPIで定義するエージェント)と異なり、AgentCore Runtimeはカスタムコンテナイメージとして任意のエージェントフレームワーク(Strands Agents、LangGraphなど)を持ち込める点が特徴だ。エージェントのスケーリング、セッション管理、ツール統合といったインフラ層をAWSが吸収する。


4エージェント構成が核心

アーキテクチャの中心は4つのAIエージェントによるマルチエージェントオーケストレーションだ。

  • オーケストレーターエージェント — AWS Glueが検出したエラーレコードを受け取り、後続エージェントへの処理を順次委譲する
  • データ修正エージェント — ドメイン知識を参照して修正内容を決定する
  • データ永続化エージェント — 修正済みレコードをデータレイクに書き戻す
  • コード修正エージェント — 根本原因を特定し、プルリクエストを作成する

各エージェントはStrands Agents SDKでコンテナ化され、AgentCore Runtimeとしてデプロイされる。オーケストレーターは修正ロジックを持たず、専門エージェントへの委譲と信頼度チェックのみを担う。これにより、修正戦略の更新が他のエージェントに影響しない設計になっている。


「2ソース修正」の判断ロジック

データ修正エージェントが最も工夫されている部分だ。エラーへの修正戦略を2つの知識源から並列で取得し、信頼度スコアが高い方を採用する。

1. Amazon Bedrock Knowledge Bases(RAG)

エラーの内容を自然言語クエリに変換してセマンティック検索する。NOAA(米国海洋大気庁)のデータガイドやスキーマ定義など、インデックス化されたドキュメントから関連度スコア付きで回答を返す。未知のエラーパターンにも対応できる「広さ」が強みだ。

def _query_knowledge_base(error_record: dict) -> dict:
    query_text = (
        f"How to correct a {error_record.get('error_type')} error "
        f"in a {error_record.get('schema_type')} weather record? "
        f"Error details: {error_record.get('error_details')}"
    )
    response = bedrock_agent_runtime.retrieve(
        knowledgeBaseId=KNOWLEDGE_BASE_ID,
        retrievalQuery={"text": query_text},
        retrievalConfiguration={"vectorSearchConfiguration": {"numberOfResults": 3}},
    )
    ...

2. Amazon S3 Vectors(事前計算済み修正ファイル)

correction/{schema_type}/{error_type}.json を直接参照し、既知のエラー組み合わせに対して即座に高信頼度の修正を適用する。モデル推論を挟まないため高速だ。

用語補足:Amazon S3 Vectors
2025年にプレビュー公開されたS3の新機能で、ベクトルデータをS3バケット内にネイティブに格納・検索できる。従来はベクトルストアとしてOpenSearchやPineconeといった別サービスを用意する必要があったが、S3 Vectorsを使うと既存のS3ワークフローの延長でベクトル検索を組み込める。本アーキテクチャでは事前計算済みの修正戦略をベクトル形式で保持し、類似エラーへの高速マッチングに活用している。

{
  "correction_strategy": "For missing temperature fields, check if the complementary unit field is present (celsius/fahrenheit) and compute the missing value using the conversion formula.",
  "confidence": 0.85
}

信頼度スコアがデフォルト0.7のしきい値を超えた場合のみ修正を適用する。超えない場合はAmazon SNSで人間に通知し、不適切な修正の自動適用を防ぐ。


レコード修正で終わらせない:コード修正まで自動化

多くのデータ品質システムはレコードの修正で止まる。このパイプラインはさらに踏み込んで、コード修正エージェントが根本原因まで遡る。

具体的には:

  1. AWS Secrets Managerに保管したリポジトリ認証情報でソースコードに接続
  2. エラータイプ・スキーマタイプ・適用した修正を照合して原因コードを特定
  3. 既存ロジックを壊さないコード変更案を生成(バリデーション無効化などは提案しない)
  4. GitHub MCP Server経由でブランチを作成し、根本原因の分析付きでプルリクエストをオープン

時間が経つほどアップストリームコードが改善され、エラー率が下がる構造だ。この部分はリポジトリの認証情報設定が必要なオプション機能として提供されている。


インフラ構成と前提条件

インフラはAWS CDK(Python)で一括デプロイできる。必要なAWSサービスはS3(S3 Vectors含む)、AWS Glue、Amazon Bedrock、Amazon ECR、AWS CodeBuild、Lambda、SNS、Secrets Manager、IAMと広範にわたる。

BedrockのモデルはAnthropic Claude(エージェント推論用)とAmazon Titan Embeddings V2(ナレッジベースのインデックス用)のアクセスを事前に有効化する必要がある。コンテナイメージのビルドにはFinchまたはDockerが必要だ(CDKはCodeBuild経由でARM64イメージをビルドする)。


守備範囲と限界

自律的な修正を行う一方、設計上の安全弁も複数組み込まれている。

基本の抑制機構は信頼度しきい値(デフォルト0.7)と人間への通知フォールバックだ。しきい値を下回った修正候補は自動適用されずSNS通知に回るため、不確かな推論が静かに本番データを汚染するリスクを抑える。

追加のガバナンス層として、記事ではAmazon Bedrock Guardrailsの活用も言及されている。Guardrailsはモデルの入出力を横断的にフィルタリングする機能で、特定のコンテンツポリシー違反や機密情報の漏出を検知・ブロックできる。たとえばコード修正エージェントが認証情報をコミットメッセージに含めようとするケースや、修正提案が既存のバリデーションロジックを無効化する内容を含む場合といった「エージェントの暴走」シナリオへの防護線として機能する。信頼度しきい値が「修正の確からしさ」を制御するのに対し、Guardrailsは「エージェントの振る舞い」そのものを制約するという役割分担だ。

対象とする気象データは15種類のスキーマタイプ(気温、降水量、風、気圧、湿度、視程、雲量、太陽放射など)を想定した実装例だが、パターン自体は他のドメインにも転用できる構造になっている。


詳細はBuild a self-healing ETL pipeline with Amazon Bedrock AgentCoreを参照していただきたい。