11月17日、O'Reillyが「When AI-Generated Data Becomes Tomorrow's Ground Truth」と題した記事を公開した。この記事では、AIエージェントが生成した結論が企業の意思決定システムに組み込まれ、誤りが訂正された後も「事実」として伝播し続けるリスクと、その対策パターンについて詳しく紹介されている。
AIが出した結論が「事実」になる瞬間
製造業における取引先審査を例に考える。AIエージェントが取引先の品質証明書を確認し、「有効」と判断する。その結論は取引先管理システムに記録され、調達担当者がそれを根拠に発注を承認する。その後、人間の担当者が「証明書の適用範囲が対象部品と一致していない」と気づいて記録を訂正した——にもかかわらず、同日午後2時にはダッシュボードが依然として「承認済み」と表示し、プログラムレポートには「適合」と記載されたままだった。
この例で注目すべきは、どのシステムも誤動作していないという点だ。各システムは「自分が知っている時点での正しい情報」を処理しただけだ。問題は、訂正が元の記録に届いても、その記録に依存していた判断には届かないことにある。
記事はこれを「結論が権威を帯びる」問題として捉えている。エージェントが出した結論は:
- エージェントの応答内では「AIによるアセスメント」として見える
- 取引先マスターレコードでは「確認済みの事実」に見える
- ダッシュボードでは「承認」という1ビットの情報に圧縮される
- 検索インデックスではそれぞれ独立したパッセージとして分割される
文脈が剥ぎ取られるたびに、結論はそれを格納しているシステムの権威を纏う。
「裏付け」に見えて、実は「伝播」
さらに厄介なのが、同一の結論が複数のシステムにコピーされた後、別の証拠に見えてしまう問題だ。
後続のエージェントが取引先について調査する際、「取引先レコード」と「プログラムレポート」の2つを参照し、互いに独立した文書として扱う。しかし両者の出所はひとつ——最初のエージェントの判断だ。記事はこれを明確に言い切っている:
*What appears to be corroboration is propagation: several records repeating one finding.*(裏付けに見えるものは伝播だ——複数のレコードがひとつの結論を繰り返しているだけだ)
モデルの性能を上げてもこの問題は解決しない。リランキングで関連性を高めても、コピーされた文書それぞれが「関連あり」として返ってくる。文書が検索システムに到達する前に祖先情報が捨てられていれば、モデルに「独立した証拠を探せ」と指示しても手遅れだ。
マルチエージェント構成では状況がさらに悪化する。エージェントAの要約がエージェントBのコンテキストになり、エージェントCの「独立した確認」がAとBの両方を読む——自己引用のループが生まれる。
対策:「決定リネージ(Decision Lineage)」
記事が提案するのがDecision Lineageという概念だ。データの来歴追跡の標準規格としてはW3C PROV(W3Cが策定したデータ来歴・因果関係の記述モデル)やOpenLineage(データパイプラインのジョブ・データセット単位の来歴をオープンに記録するための仕様)が存在するが、これらは「データがどこを経由したか」を追跡するものであり、「どの意思決定がその結論に依存しているか」までは追跡しない。
*Data lineage tells us where an assertion traveled. Decision lineage tells us what the organization did because it believed the assertion.*(データリネージは結論がどこへ行ったかを教える。Decision Lineageは組織がその結論を信じて何をしたかを教える)
具体的な実装パターンとして、以下のような依存関係レコードを提案している:
{
"assertion_id": "asr-7781",
"claim": "Mandatory certificate valid for supplier S-204",
"evidence_snapshot": "evd-2291@v3",
"authority": {
"granted_by": "qualification-workflow",
"scope": ["sourcing-approval"]
},
"dependent_decisions": ["sourcing-5520"],
"derived_artifacts": ["dashboard:readiness",
"report:program-q3",
"index:supplier-docs"],
"status": "accepted"
}
証明書の判断が取り消された場合、statusがwithdrawnに変わり、dependent_decisionsとderived_artifactsが「再確認すべきもの一覧」になる。キャッシュの無効化、ベクトルインデックスの更新、レポートの再生成、ワークフローの停止——これらはすべて同じ「訂正の伝播」ジョブの一部だ。
追跡対象は「重要な主張」だけでよい
このパターンの実装コストについて、記事は現実的な立場をとっている。すべてのAI出力にDecision Lineageは不要だ。 追跡が必要なのは「マテリアル・アサーション(material assertion)」——「証明書は有効だ」のように、誤っていれば決定を覆す可能性のある具体的な主張——に限られる。長い取引先評価レポートでも、マテリアル・アサーションは1〜2個に過ぎないことが多い。
適用が正当化されるのは、AIが生成した結論が承認・支払い・安全・コンプライアンス・後続の機械的判断に影響しうる場合だ。
テストの指標
記事はこのパターンが機能しているかを確認するための3つの指標を挙げている:
- Decision Coverage:重要な意思決定のうち、根拠となる結論まで追跡できる割合
- Time to Impact:結論を取り消してから影響を受ける意思決定を特定するまでの時間
- Stale-evidence Leakage:取り消し済みのコピーが現在の証拠として返ってくる件数
支払い承認なら「1時間以内、ゼロ漏れ」が求められ、レビューキューの優先度付けなら1日の猶予を許容できる——というように、プロセスの性質に応じて目標値を設定する。
問題の本質と、Decision Lineageが示す解
この問題は製造業に限らない。銀行の不正分類、通信会社のリスク評価、ITインシデントの診断知識ベースなど、エージェントの出力が他システムの信頼する記録になる場所であればどこでも発生すると記事は指摘する。AIがモデル開発のトレーニングデータに使われる文脈では、誤った結論がラベル付きサンプルとして次世代モデルに学習される可能性まで生じる。
こうした連鎖を断ち切る鍵が、まさにDecision Lineageだ。「結論がどこへ伝わったか」だけでなく「その結論を信じて組織が何をしたか」を記録することで、訂正を必要な場所まで確実に届ける仕組みが初めて成立する。モデルの精度向上や検索の改善だけでは解決できないこの問題に対して、記事はアーキテクチャレベルの解法を提示している。
詳細はWhen AI-Generated Data Becomes Tomorrow's Ground Truthを参照していただきたい。




