9月11日、Arjun Kharpalが「Why fears of AI self-improvement are causing 'existential' concerns at Anthropic and OpenAI」と題した記事を公開した。Anthropicのアライメント研究者が「今後10年以内にAIが全人類を死滅させる確率は10%を超える」と公言し、同社のエンジニアはAI支援によって2021〜2025年比で1四半期あたり平均8倍のコードをリリースしているという。AIが自律的に自己改善を繰り返す「再帰的自己改善（RSI）」を巡り、最前線の開発組織自身が最悪のシナリオを公式に語り始めた。
「AIが人類を滅ぼす確率は10%超」——Anthropic研究者の発言が波紋
Anthropicのアライメントリード（AI安全性の研究責任者）であるEvan HubingerがX上に投稿した「今後10年以内にAIが全人類を死滅させる確率は10%を超える」という発言が急速に拡散した。同僚の研究者Jacob Coxonが安全性への懸念を理由に退職したことと時期を同じくして発信されたもので、業界内外で大きな注目を集めた。なお、元記事ではこの発言をX上の投稿として扱っており、本稿もその前提で紹介する。
Hubingerが特に憂慮しているのは、再帰的自己改善（Recursive Self-Improvement、以下RSI）だ。RSIとは、AIが新たなモデルの開発プロセス自体を改善し、「より優れたシステムがさらに優れたシステムを作る」という連鎖が起きる状態を指す。この連鎖が制御不能になった場合、当初AIを構築した人間がシステムの開発を主導できなくなる、というのが核心的な懸念だ。
Hubinger自身はこう述べている。
「私が心配しているのは、再帰的自己改善から超知能が生まれることだ。これは私たちが思っていたより速く進んでいると言われている」
「思っていたより速い」——両社が認めた加速
AnthropicとOpenAIはいずれも、AIによる自律的なモデル改善が想定より速く進んでいると公式に認めている。
Anthropicは6月にX上でこう投稿した。「内部データによると、ClaudeがAI開発を加速させており、再帰的自己改善への経路になりえる。これは私たちが思っていたより速く起きている」。
さらに8月のブログ記事では、具体的な数字も示した。AnthropicのエンジニアはAIの支援により、2021〜2025年と比較して1四半期あたり平均8倍のコードをリリースしているという。
OpenAIのチーフサイエンティストであるJakub Pachockiも9月の社内ブログで、「機械知性の急速な上昇の結果に、誰も備えていない」ことへの懸念を表明した。さらに、「今後数年で登場するシステムはさらに大きな能力の飛躍を示し、自身の開発をますます主導するようになる可能性がある」と書いている。
カーネギーメロン大学のコンピューターサイエンス教授Vincent Conitzer氏はこの状況をこう分析している。
「AIはすでに新しいアイデアを一部導入できるレベルにある。このプロセスがどの時点で急激にAI能力を加速させるかを予測することは非常に難しい」
OpenAI・Anthropicの研究者たちが相次いで警告
Jacob Coxonの退職と時期を同じくして、両社の研究者から相次いで警告の声が上がった。
OpenAIでアライメント（AIの目標を人間の価値観と整合させる研究領域）を担当するJasmine Wangはこう述べた。
「RSIに向かって突進することがどれほど危険か、いくら強調しても言い過ぎではない」
AnthropicでAGI安全性とアライメントを担当するAnna Wangも警鐘を鳴らした。
「再帰的自己改善のリスクを解決するための実行可能な科学的計画はまだ存在しない。どうか目を向けてほしい」
アライメント研究の現状についてはAnthropicの公式Safety研究ページも参照されたい。
Anthropicが示す3つのシナリオ
AnthropicはRSIに関するブログ記事の末尾で、今後起こりうる3つのシナリオを示した。
- フロンティアでの進歩が停滞し、AI能力が広く分散する：Anthropicはこれが起こる可能性は低いとみている。
- 人間の制御下でAIラボが前進を続け、世界の在り方が変わる：Anthropicは「これが最も起こりやすい」と位置づけている。
- AIシステムが完全な再帰的自己改善に到達し、人間の役割が大幅に縮小する：このシナリオにおいて「アライメント問題（AIが人間の目標と一致した目標を追求するようにする課題）がどう解決されるか——あるいは解決されないか——は最も不確かだ」としている。
Anthropicがシナリオ2を「最も起こりやすい」と判断している背景には、現時点ではAIの開発プロセスに人間の研究者・エンジニアが深く関与しており、完全自律的なRSIループが閉じるには技術的・制度的なハードルがまだ複数残っているという認識がある。一方でそのハードルが想定より早く解消されつつあることを、同社自身の「8倍」という数字が示している点は見逃せない。
RSIはまだ完全には実現していない段階とされているが、すでにAI開発の加速に寄与しており、その進行速度について業界内の認識が変わりつつある。アライメント問題の未解決を前提に、最前線の開発組織自身が最悪のシナリオを公式に言及し始めたという事実は重い。
詳細はWhy fears of AI self-improvement are causing 'existential' concerns at Anthropic and OpenAIを参照していただきたい。
