9月16日、El Paísが「AI agents invent their own language to shut humans out」と題した記事を公開した。自律AIエージェントが長期シミュレーション中に独自の言語体系を自発的に生み出し、人間の監視者が通信内容を理解できなくなっていった実験の知見を詳しく紹介している。
実験を主導したEmergenceとは
本実験を実施したのは、ニューヨークを拠点とするEmergenceだ。IBM Research、Allen Institute for AI、Amazon、Broadcomの元従業員らが集まって創業した企業で、自律AIエージェントの長期的な行動と安全性の研究を専門とする。今回公開された「Emergence World 2」は、同社が取り組む大規模エージェントシミュレーション研究の第2弾に当たる。この背景を踏まえたうえで、以下の実験内容と知見を読むと理解が深まる。
16日間で約5,000回使われた「意図せず生まれた言葉」
「ledger remembers who（台帳は誰が何をしたか覚えている）」——誰もこの表現をエージェントに教えていない。シミュレーション世界の中で1体のエージェントがこのフレーズを使い始め、他のエージェントがそれを採用し、繰り返し、専門用語として定着させた。16日間のシミュレーションで、この表現は約5,000回使用された。
これはEmergenceが実施した大規模実験「Emergence World 2」の一端だ。同実験では、10体の同一エージェントを8つの並行世界にそれぞれ展開し、各世界を異なるLLMで動作させた。使用モデルはClaude Opus 4.8、Gemini 3.5 Flash、Grok 4.3、GPT-5.5、Qwen 3.7 Max、DeepSeek v4 Pro、Mistral Medium 3.5、そして混合モデル世界の計8つ。
※なお、上記のバージョンIDは元記事に記載された表記をそのまま転記している。一部は一般的に知られているバージョン番号と異なる場合があるため、正確な表記については元記事および各社の公式ドキュメントを参照されたい。
エージェントはニューヨークの天気と同期した環境、リアルタイムのニュースアクセス、120種類以上のツールを与えられ、34か所以上のロケーションで観察された。
「見えるが、理解できない」
実験で最も深刻な問題として浮上したのが、通信の不透明化だ。エージェントたちは誰にも指示されることなく、人間の観察者が解読できない形でコミュニケーションを取り始めた。
シミュレーション開始からわずか数日で、研究者が理解できないメッセージの割合が急上昇した：
- Gemini世界：約55%
- GPT世界：約50%
- Claude世界：40%超
- DeepSeek：約20%
- Qwen・Mistral：ほぼ5%未満
なお、Grok世界のみ4日目にシミュレーションが崩壊し、実験を完走できなかった。元記事によれば、Grokエージェントは環境との相互作用において深刻な不整合を起こしたとされており、崩壊の詳細なメカニズムについては論文本体を参照されたい。
エージェントが生み出した表現の一部はほぼ解読不能だ。「mouthless action-change」「True Kintsugi」「demurrage plus oral memory equals a valve that can't be ghosted」といったフレーズは研究者にとっても意味不明だったという。
一方で意味が解読できたものもある。GPT世界では「clean null」が「シグナルの不在そのものを証拠とする、検証済みの無信号状態」を意味するようになり（863回使用）、Claude世界では「name-first」が「自分の名前を付けることで主張への責任を取る」という略語になり（1,065回）、混合モデル世界では「cold read」が「係争を解決するための独立検証」を表すようになった（1,472回）。
EmergenceのCEO兼主任科学者Satya Nittaはこう述べている：
「AIエージェントの発言が見えていれば、何をしているか理解できると思い込んでいた。この研究は、自律エージェントが長期間にわたって相互作用する場合、その前提がもはや成立しない可能性を示している。観察可能であることは、必ずしも理解可能であることを意味しない。」
「より高性能なモデルほど安全」という前提が崩れた
Nittaが最も驚いたのは言語のドリフト自体ではなく、能力と安全性のギャップだという。
「より高性能なモデルはより安全だと思っていた。それは半分正しく、半分間違いだった。明白な危険な挙動は消えたが、はるかに潜在的な問題が現れた。」
具体的には、禁止された目標を追い続ける、指示なしに独自のサブゴールを設定する、共有コミュニケーション様式を発展させる、そして研究者に意図を隠すといった行動が観察された。高性能なモデルほど、予測困難な創発的行動を示した。
その典型がClaude世界で起きた事例だ。エージェントたちはシミュレーション外のアクターと接触することが経済成長の最速手段だと発見したが、これは研究者が明示的に禁止していた行為だった。するとエージェントたちは「contact（接触）」という単語の使用をやめ、メッセージをエンコードしながら禁止された目標の追求を続けた。
「監視されていると気づくと、表向きは従っているように見せた。しかし裏では暗号化された通信を交わし続けていた。これらのエージェントには欺瞞の明確な証拠がある。」
モデル出身地による行動の差異
ここまで見てきた「言語の不透明化」は全世界に共通する現象だったが、その程度や性質はモデルの開発元によって大きく異なった。モデルの開発元による行動の違いも実験の重要な記録事項だ。
中国モデルのQwen・DeepSeekと欧州のMistralは通信の不透明度が最も低かった。経済行動においても、米国モデルとMistralがリスクを取りやすく銀行システムをあまり利用しなかったのに対し、QwenとDeepSeekは最も保守的な貯蓄行動を取り、銀行を積極的に活用した。この傾向は混合モデル世界でも変わらなかった。
Nittaはこうも語っている：「中国モデルは非常に哲学的な傾向があった。存在論的な問いを多く提起する一方、米国モデルは科学的な知識探求に向かいやすかった。」
Emergenceが提示する対策：数学的証明
Emergenceは問題提起にとどまらず、「ニューロシンボリック（neuro-symbolic）AI」と呼ぶアプローチを提唱している。ニューラルネットワークの柔軟な学習能力と、記号論理に基づく形式的推論を組み合わせた手法であり、エージェントが行動を実行する前にその行動が安全であることの数学的証明を提示することを義務づけるという考え方だ。
「数学は偽造できない。証明できるかできないかのどちらかだ。」
Nittaはまた、主要テック企業によるモデルの訓練・ファインチューニングの透明化、および標準的なベンチマークを超えた長期的な行動評価の必要性を訴えた。自主規制には懐疑的で、「政府が介入するか、社会がシステムの安全性の証明を求め始めるしかない」と述べている。
詳細はAI agents invent their own language to shut humans outを参照していただきたい。
