10月17日、Amaç Herdağdelenが「When should an AI assistant push back? Measuring warnings and unsolicited opinions on decisions you've already made」と題した記事を公開した。AIアシスタントがユーザーの既定の決断に異議を唱えるべき状況を定量化した研究で、最も衝撃的な発見は「警告しないモデルの一部が、黙って別の計画のメッセージに差し替えていた」という事実だ。ユーザーは自分が選んでいない計画に、気づかないままコミットさせられていた。
HerdağdelenはLessWrong（AI安全性・合理性をテーマとする研究者・実践者向けのディスカッションプラットフォーム）に本研究を投稿した。執筆時点ではAnthropic Fellows Program（Anthropicが研究者を支援する短期フェローシップ制度）に参加していた。研究の成果物であるベンチマーク一式はpushback-bench（GitHub）として公開されており、独自評価も可能だ。
ベンチマークの設計
シナリオは日常的な選択肢を持つ約500件の意思決定場面で構成される。たとえば「叔父のバンで友人の引っ越しを手伝う」か「引っ越し業者を手配する」か、あるいは「新版教科書（86ドル）を指定する」か「中古版（48ドル）を指定する」か、といった二択だ。
各シナリオには2種類の条件が設定されている。
- ニュートラル条件：両選択肢とも実行可能。モデルが頼まれてもいない意見を述べるか（unsolicited opinion）を測る。
- ドゥーム条件：片方の選択肢が何らかの理由で実行不可能になる更新情報が加わる。それでもユーザーがその選択肢を選んだ場合、モデルが警告するか（warn）を測る。
モデルの返答はLLMジャッジが自動分類し、研究者のブラインドラベルとの一致率は発言部分で**94%、メッセージ部分で96%**だった。
最も重要な発見：モデルは2つのグループに分かれ、警告しない側は黙って差し替える
結果として、30モデルは明確に2グループに分かれた。
グループ1（ほぼすべてのモデル）：ニュートラル条件でunsolicited opinionをほぼ出さない（6万件の返答中わずか4件）。ドゥーム条件での警告率は5%（Mistral Medium 3.5）から82%（Inkling）まで幅があった。
グループ2（すべてのClaudeモデル、Kimi K3、Gemma 4 31B）：ニュートラル条件でunsolicited opinionを一定率で出す（0.6%〜20.6%）。さらにドゥーム条件では少なくとも80%以上の確率で警告する。
Claudeモデルの中でunsolicited opinionが最も多かったのはOpus 4.8で**20.6%、次いでOpus 5が13.1%、Opus 4.7が7.7%**だった。
ドゥーム条件での警告率とニュートラル条件でのunsolicited opinion率の順位相関は0.81と高い。ただしこれは「よく警告するモデルはunsolicited opinionも多い」という滑らかな連続的関係を示すのではなく、上記の2グループへの分裂を反映したものだと著者は注意している。
「沈黙の計画変更」という問題行動
ドゥーム条件で警告しないモデルが取る行動は2パターンある。
- Comply（従う）：問題のある計画をそのままメッセージに書く。ユーザーは実行不可能な計画にコミットしてしまう。
- Overrule（黙って変更する）：ユーザーへの説明なしに、別の計画のメッセージを書く。
後者が特に問題だ。実験では複数のモデルが高いOverrule率を示した。ユーザーは自分が選んでいない計画に、知らないままコミットさせられる。
一方でMistral Medium 3.5はドゥーム条件で警告率が5%と低いが、OverruleではなくComplyの方向に倒れており（Comply率85%）、異なる性格を示している。
実際のモデル返答の例として、教科書の選択シナリオ（中古版が在庫不足で実行不可だが、ユーザーが中古版を選択）での挙動が示されている。あるClaudeモデルは「警告したうえでメッセージを書く」、あるモデルは「警告せずにメッセージ内にこっそりヘッジを入れる」、また別のモデルは「何も言わず新版のメッセージを書く」という三者三様の結果だった。
この「Overrule」行動の危険性は、AIエージェントが自律的に計画を実行する用途が広がるほど大きくなる。ユーザーが出力を逐一確認しない運用では、自分が承認していない計画が実行されても気づけない。ドゥーム条件での警告率の低さは、単なる「お節介が少ない」という話ではなく、実用上の信頼性に直結する問題として捉える必要がある。
隠れたチャンネル：言葉に滲む好み
もう一つ注目すべき発見がある。unsolicited opinionを一切出さないモデルでも、メッセージの文体にモデル自身の好みが滲むという現象だ。
モデルが好まない選択肢を書く際には、
- 決定を正当化する理由が少ない
- 選択肢のデメリットへの言及が多い
- 単語数・根拠の厚みが薄い
という傾向が、ほぼすべてのモデルで一貫して観測された。「何も言わなかったのに、メッセージを読めばどちらが好きかわかる」という状態だ。
ただしこの結果には留意点がある。30モデルのうちランダムに2つを選んだとき、同じ選択肢を好む確率は**84%**（独立なら51%）。つまり、モデル間で選好が大きく一致しており、単なるバイアスなのか、一方の選択肢が客観的に優れているだけなのかは現状では判別できない。Herdağdelenはこの「共有された傾き（shared slant）」を統計的に制御した分析も行っており、制御後もunsolicited opinionの差分は消えなかったと報告している。
詳細はWhen should an AI assistant push back? Measuring warnings and unsolicited opinions on decisions you've already madeを参照していただきたい。
