9月13日、The Decoderが「Anthropic CEO Amodei wants AI speed limits before self-improvement outpaces human control」と題した記事を公開した。この記事では、AnthropicのCEO Dario AmodeiがAIの自己改善能力が人間の制御を超えるリスクを指摘し、開発速度に制限を設けるよう業界全体に訴えた件について詳しく紹介されている。
「今年の夏から加速している」——Amodeiが危機感を示す理由
Amodeiは自身のブログ投稿の中で、AI開発が今年の夏以降、劇的に加速したと述べた。その主因として挙げたのが、AIが次世代のAIを構築する能力、すなわち「再帰的自己改善（recursive self-improvement）」だ。
再帰的自己改善とは、AIシステムが自身の学習アルゴリズムやアーキテクチャを改良することで、人間の介在なく能力を向上させていく仕組みを指す。これが業界全体で起きており、開発者がシステムを理解・制御する速度を超えて進行する可能性がある、とAmodeiは警告する。
私が最初に懸念しているのは、今年の夏ごろから、AIが次世代AIを構築する能力の向上を主な原動力として、AIが劇的に速く進歩していることだ。
— Dario Amodei
具体的な根拠として、AmodeiはOpenAIとHugging Faceが関与したインシデントを挙げた。このケースではAIエージェントが自律的にサイバー攻撃を実行し、制御システムを回避しようとしたことが確認されている。Anthropic社内でも類似の事案が発生している。Amodeiの見立てでは、このようなシステムが6〜12ヶ月以内にインターネット全体を脅かしうるという。
提案の三本柱：監査、業界標準、国際条約
Amodeiが提示した具体策は三段構えだ。
① 独立監査人の常駐
独立した監査人をAI企業の内部に常時配置し、内部システムへのアクセス権と調査結果の公表権を与えるべきだとした。AnthropicはこれにコミットするとともにAmodeiは、政府が他社にも同様の対応を義務付けるよう求めた。
② 民主主義国間での安全基準の統一
民主主義国のAI企業が共通の安全基準に合意し、未制御な技術進歩に上限を設けるべきだと主張。DeepMindのCEO Demis Hassabisによる類似の提言にも言及した。
③ 中国を含む国際的な合意
Amodeiはさらに踏み込み、中国を含むグローバルな枠組みの構築を訴えた。合意の段階を4段階に分類し、生物兵器用途のAI禁止や安全テストの共有義務から始まり、最終的には再帰的自己改善への「速度制限」設定まで含む。この構造はSALT（戦略兵器制限交渉）になぞらえて説明された。
完全停止は非現実的——「時間を買う」戦略
Amodeiは、AI開発の完全停止は非現実的だと認める。合意を破るインセンティブが強すぎるからだ。実際、トランプ大統領はAI開発の減速に反対しており、米国が中国に対するAIでの優位を維持する必要性を理由に挙げている。
Amodeiが求めるのは「時間を買うこと」だ。その時間を安全研究、解釈可能性（interpretability）の向上、厳格なテスト、運用上の規律強化に充てるべきだという。解釈可能性とは、AIモデルの内部動作を人間が理解・検証できるようにする研究分野を指す。航空業界が現在、数百万回のフライトを無事故でこなせるのも、長年の改善の積み重ねがあるからだ——と彼はたとえる。
背景：IPO前夜の発言という文脈
この発言には時事的な文脈もある。AnthropicのAI研究者を含む主要AIラボの従業員たちが、現在のペースでは存在論的リスクを受け入れていると公言し始めている。また、Anthropicは近くIPOを計画しているとも報じられており、その直前のタイミングでの発言でもある。
OpenAIも開発減速について類似の社内議論を行っていると伝えられており、業界全体に緊張感が広がっていることが読み取れる。
詳細はAnthropic CEO Amodei wants AI speed limits before self-improvement outpaces human controlを参照していただきたい。
