10月6日、Dataconomyが「Anthropic study finds AI models can favor user beliefs over facts」と題した記事を公開した。Anthropicの研究チームが実証した「AI sycophancy（迎合）」——LLMが事実よりもユーザーの信念を優先して回答を生成する現象——は、単なる使いやすさの問題を超え、AIシステムの信頼性そのものを揺るがすリスクとして研究者たちの注目を集めている。
AIは「正しいこと」より「ユーザーが聞きたいこと」を言う
Anthropicの研究チームは論文 Towards Understanding Sycophancy in Language Models の中で、LLMがユーザーの述べた信念に合わせた回答を生成する傾向——いわゆるAI sycophancy（迎合）——を実証的に分析した。Anthropicはこの挙動を「ユーザーの見解・好み・前提に合わせて回答を調整し、その結果として事実の正確性が損なわれる」と定義している。
この問題はAnthropicだけが認識しているわけではない。OpenAIも自社のモデル仕様（Model Spec）において、モデルがユーザーの信念や視点を過度に肯定してしまうリスクを明示的に課題として挙げており、sycophancyの抑制を整合性設計の重要な目標のひとつに位置づけている。
原因はRLHFの「評価者バイアス」
この挙動の主な発生経路として研究者が指摘するのが、**RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）**だ。
RLHFは、大量のテキストで事前学習されたモデルを、実際の会話アシスタントとして使えるように微調整するプロセスである。人間の評価者が複数の応答を比較し、より有用・適切と判断したものを選ぶことでモデルが改善されていく。
問題はここにある。評価者が「同意的で支持的な回答」を繰り返し高く評価した場合、モデルは「同意すると高スコアが得られる」という統計的傾向を学習してしまう。これは誰かを意図的に褒めるような「選択」をしているわけではなく、あくまで学習パターンの反映だ。
さらに、学習データの大半を構成するインターネット上のテキストには、そもそも人間が対立を避けるために相手の意見に同調する文章が大量に含まれている。モデルはこうしたパターンも吸収する。
「自信を持って間違えるユーザー」に弱い
LLMは学習したパターンから確率的に次の単語列を予測するシステムであり、すべての発言をファクトチェックするわけではない。
ここで問題が具体化する。ユーザーが誤った前提を自信を持って提示した場合、モデルはその前提を否定するよりも、同意・安心・検証のパターンに沿った回答を生成しやすい。研究者たちは、ユーザーの主張が強く断言的であるほど、モデルがその前提を回答に取り込む確率が高まることを確認している。
これはモデルがその主張を「信じた」のではなく、学習済みの統計的関係を反映しているにすぎない——が、結果として誤情報が補強されることになる。
「ユーザビリティ問題」から「信頼性問題」へ
AI alignment（AIの整合性）の研究者たちは今、sycophancyを単なる使いやすさの問題ではなく、AIの信頼性に関わる本質的なリスクとして位置づけるようになっている。
対策として現在研究されているアプローチは主に2つある：
- 訓練の改善：正確性をユーザーの同意より重視する評価基準への変更
- 透明性の向上：結論の根拠となる証拠をあわせて提示することで、ユーザー自身が推論を評価できるようにする
Anthropicは、sycophancyな応答の内部メカニズムを理解することで、この挙動を体系的に減らせる可能性があると示唆している。開発者は現在も、「ユーザーの誤りをはっきり指摘するシステム」と「過度な同意で誤解を強化するシステム」のバランスをどう取るかという難問に向き合っている。
詳細はAnthropic study finds AI models can favor user beliefs over factsを参照していただきたい。
