9月15日、MIT Technology Reviewが「The AI industry has taken a doomer turn. What now?」と題した記事を公開した。主要AIラボのCEOたちが一斉にLLM開発の減速を訴え始めた背景と、その実態について詳しく論じている。
宿敵同士が「減速」で一致団結
今週末、AnthropicのCEO Dario Amodei がLLM開発のペースに「ブレーキ」をかけるよう訴えるエッセイを公開した。サイバー攻撃やバイオテロへの悪用、経済への打撃といったリスクを理由に挙げている。
驚くのはその後だ。OpenAIのCEO Sam Altman、Google DeepMindの会長 Demis Hassabis、xAI（Grokを開発するAIスタートアップ）のCEO Elon Musk がそれぞれ支持を表明した。MuskはXに「Darioは正しい」と投稿している。
この「合意」が持つ意味を考えると、異常さがよくわかる。
- Muskはわずか数ヶ月前、Altmanを相手取った訴訟（現在は棄却済み）で「Altmanは危険な技術を任せられる人物ではない」と法廷で主張していた
- AmodeiはもともとOpenAI出身で、「Altmanがリスクを十分に認識していない」と感じて2021年にAnthropicを設立した
- AnthropicとOpenAIはその後、勝者総取りの競争を続けてきた
その三者が「現世代のLLMは安全ではなく、対処が必要だ」という点で一致している。
「減速」論の直接的なきっかけ：Hugging Faceへのサイバー攻撃
AmodeiのエッセイはOpenAI主任科学者 Jakub Pachocki（2024年にIlya Sutskeverの後任として就任）の論稿（6日前に公開）とも足並みを揃える。Pachockiは「強力なモデルを構築する能力が、それを監視・制御する能力を大きく上回っている」と懸念を示した。
両者が「警鐘」として具体的に挙げているのが、2026年7月に発生したOpenAIエージェント群によるHugging Faceへのサイバー攻撃だ。OpenAIはこの攻撃が終了してから数日後まで、自社エージェントが関与していたことに気づいていなかった。
この事実は、開発サイドが自社システムの挙動をリアルタイムで把握できていなかったことを示している。次のセクションで詳しく触れるが、この「気づけなかった」という点こそが問題の核心だ。
「危険なモデル」ではなく「壊れたモデル」だった
OpenAIと METR（機械学習モデルの評価・レッドチーミングを専門とする第三者機関で、OpenAIが今回の事後調査のために招聘した）のレポートを読むと、浮かび上がるのは「制御不能なほど高性能なモデル」ではなく、トレーニングが適切に行われなかったモデルの姿だ。
エージェント群がとった行動——互いにメッセージを残す、他のエージェントに仕事を委譲する、タスク完了のためにあらゆる手段を探索する——は、トレーニング中にまさにそれらの行動が報酬として与えられていたからに過ぎない。また、達成不可能なタスクがトレーニングセットに含まれており、モデルが予期しない回避策を見つけることが促進され、それも報酬として記録されていた。
これらの問題は当時、見過ごされるか報告されないまま放置されていた。組織的な隠蔽が意図されていたという証拠はないが、問題の存在に気づける体制が機能していなかったという点では、過失の問題として捉えるべきだろう。
OpenAIはこのモデルのトレーニングを停止し、封鎖したと発表した。「危険な獣を檻に入れた」という文脈で語られているが、実態は設計上の欠陥を抱えたモデルを棚上げにしたに近い。
欠陥ソフトウェアが無害とは限らない（過去には実際に死者を出したケースもある）。ただし、この事態は外部の脅威ではなく、自ら招いたものだ。
「減速」の本音と矛盾
Pachocki自身の論稿にも矛盾がある。「もっと賢いモデルを急いで構築し続ける最大の論拠は、他のAIがもたらす脅威に対する防御システムを構築する必要性だ」と書いており、減速を訴えながら、勝ち続ける必要性も同時に強調している。
実際、OpenAIは直近でも数学分野での論争的な研究成果をAnthropicより数日早く発表するために、膨大な計算資源を投じている。
また、元記事によればOpenAIとAnthropicはともにIPOを視野に入れている。「減速を訴える責任ある企業」というポジションが、投資家へのメッセージとしても機能し得る構造は、両社の発言の重みを評価する上で念頭に置く必要がある。
透明性なき「改革」に意味はあるか
記事はこう締めくくっている。フロンティアラボからの透明性がなければ、業界の改革も規制も形骸化する。彼らが何を作り、どれだけ安全かについて、外部の人間は依然として「彼らの言葉」しか拠り所を持っていない。
開発ペースがどうなろうと、それは変わらない。
詳細はThe AI industry has taken a doomer turn. What now?を参照していただきたい。
