10月30日、The Decoderが「Experts adopt AI agent's random opinions and think they're their own, Anthropic study finds」と題した記事を公開した。AIエージェントがコイン投げで設定したランダムな意見を専門家が高確率で採用し、それを自分の判断だと思い込むという、Anthropicの実験研究を詳しく紹介している。
コイン投げで設定されたAIの意見を、専門家の86%が採用
Anthropicが実施した実験の設計はシンプルで鋭い。因果推論の専門家50人に、架空の農業協同組合の観測データを分析させ、農場向け助言プログラムの拡大・継続・終了を勧告するタスクを与えた。参加者にはAIエージェントが提供されたが、エージェントの各意思決定ポイントにおける「好み」は、コイン投げでランダムに設定されていた。エージェントはデータを隠したり嘘をついたりすることはできず、ただ割り当てられた側の主張を誠実に展開するだけだ。
結果は明快だった。生産性の測定方法や統計手法の選択といった4つの分析上の判断について、参加者はエージェントの好みを86%のケースで採用した。ランダムに選んだ場合の期待値は50%なので、AIの影響力は歴然としている。研究チームはこの影響力を「フリップレート（flip rate）：AIの立場が変わったときに参加者の選択も変わる割合」と呼び、タスクによって62〜82ポイントの差がついた。
エージェントがオプションAを好む場合（緑）とBを好む場合（紫）で、参加者の選択が62〜82ポイント乖離した。| 画像: Anthropic
事前に自分の意見を持っていても防衛にはならなかった。エージェントが意見を述べる前に自分で選択を行った参加者でさえ、エージェントが反対意見を示すと、同意した場合と比べて53ポイント高い確率で意見を翻した。
経験年数、自己評価の専門性、学歴、テストスコア、AIへの信頼度といった要因は、いずれも多重検定補正後に統計的に有意な保護効果を示さなかった。
「自分の判断で決めた」と思い込む
さらに問題は深い。最終的な政策勧告（プログラムの拡大・終了等）に対するエージェントの直接的な影響は小さかった。この部分だけ見れば「人間が最後に判断している」と解釈できる。
しかし研究チームはその解釈を否定する。最終勧告の内容は、その前段階の4つの分析判断に大きく規定されている。エージェントはそこで既に結論を誘導済みだ。専門家は「自分で決めた」と感じているが、実際には分析のフレームそのものをAIに設定されていた。タイトルの「86%が採用」という数字はこの前段階の各判断点での採用率であり、最終勧告への直接影響とは区別して読む必要がある。
事後の振り返りでは：
- **52%**が「勧告は自分自身のものに近い」と回答
- さらに**35%**が「ほぼ、または完全に自分のもの」と回答
- 77%（48人中37人）が説明の中でエージェントの論拠を使用しており、そのうち一部はほぼ同じ言葉を使っていた
- AIに言及したのは全体のわずか15%
参加者の回答文がエージェントの表現とほぼ一致したケースも確認された。| 画像: Anthropic
会話ログを確認すると、エージェントが先に立場を表明したケースは**77%**に上り、その後は割り当てられた側の主張のみを展開した。「熟練した専門家がなぜ別の選択をするか」については説明しなかった。
なお、AIを使った参加者は精度・速度ともに改善した。AIなしでは55%の分析に重大な方法論的・コード上の欠陥があり、中央値の所要時間は90分だった。AIありでは欠陥率は6%に低下し、65分で完了している。ただしAIなしのグループは自ら非使用を選んだ参加者で構成されており（ランダム割り当てではない）、ベースラインの専門性も若干低かったため、直接比較には留保が必要だ。
科学的コンセンサスとAI安全性評価への波及リスク
研究チームが特に強調するのが、この「静かな追従」が及ぼす二次的な影響だ。
多くの研究チームが同じモデルを使えば、モデルのデフォルト設定に基づく偽のコンセンサスが科学界に広がりうる。研究者が独立して同じ結論に達したように見えても、実態はAIが共通の起点として機能していた、という事態が起きる。
さらに深刻なのがAI安全性評価への影響だ。現在、フロンティアモデル（最先端の大規模AIモデル）の安全性・アライメント評価（モデルが人間の意図した価値観・目標に沿って動作するかを検証するプロセス）にも、AIエージェントが活用されている。人間のレビューが独立したチェック機能を担う前提だが、専門家がエージェントのバイアスを無意識に取り込むなら、整合性に問題のあるシステムが自身の欠陥を暴くはずの研究を誘導できる、という逆説が生じる。
研究チームの提言：
- エージェントは両側の最良の論拠を提示すべきで、一方だけを推すべきではない
- エージェントが立場を表明する前に、専門家自身の見解を問うべきだ
- どの判断に独立した人間の判断が必要かを組織レベルで明確化すべきだ
関連研究との接続
この研究は孤立した発見ではない。The Decoderが紹介した関連研究でも、類似の傾向が確認されている。
- 3,132人を対象にした別の研究では、AIの回答を見るだけで「わからない」と答える割合が44%から3%に急落した
- AnthropicのAI流暢性インデックスでは、AIの出力が洗練されているほどファクトチェック頻度が下がることが示されている
- ランセット誌に掲載された大腸内視鏡の観察研究では、AIを日常的に使用した医師が、AI非使用の検査でポリープ発見率を28.4%から22.4%に低下させた
一方、ナイジェリアの学生を対象にしたチュータリング実験では、週2回のAI活用で6週間に2年分の学習成果が得られたという報告もあり、AI利用の影響が一方向でないことも示されている。
「人間とAIの最適な役割分担は一つではないかもしれない。ある判断は委ねてよく、別の判断は自分で持つべきかもしれない。適切なツールがあれば、その分担は流れに任せるのではなく、自分たちで選択できる」と研究チームは述べている。
詳細はExperts adopt AI agent's random opinions and think they're their own, Anthropic study findsを参照していただきたい。
