11月3日、Dataconomyが「Anthropic says it may soon reach recursive self-improvement」と題した記事を公開した。Anthropicが法的拘束力を持つIPO申請書類の中で、自社の開発加速を事後にしか認識できなかったと公式に認めた——この一事だけで、今回の開示が通常のAIリスク議論とは次元の異なる話であることがわかる。
IPO申請書類に「再帰的自己改善」が明記された意味
AnthropicはSEC（米国証券取引委員会）に提出したS-1A修正申請書の中で、AIがAI自身の開発を加速させる「再帰的自己改善（Recursive Self-Improvement）」の閾値に間もなく到達する可能性があると記載した。
S-1A修正申請書とは、企業が株式公開（IPO）に際してSECへ提出するS-1目論見書の修正版であり、投資家向けの重要リスクを法的義務として開示する文書だ。虚偽や誇張が許されない性質上、ここに記載された内容は経営陣が現実的なシナリオとして認識していることを意味する。
再帰的自己改善とは、AIシステムが自らより優れたAIを設計・構築するサイクルが自律的に回り始める状態を指す。AIアライメント研究の文脈では長年議論されてきた概念だが、それが企業の法的開示文書にリスク要因として具体的に登場したことは、業界的に異例だ。
Anthropicは申請書の中で、社内の推計と将来モデルへの期待値が、自社の「Responsible Scaling Policy（責任ある拡張ポリシー）」が定める「AIに起因する劇的な進捗加速」の定義を、近いうちに満たす可能性があると述べた。
自社でも「見逃した」と認めた加速
特に注目すべき開示は、Anthropicが自社の開発加速を事後にしか認識できなかったと認めた点だ。
「当社はこれまで、開発速度の大幅な加速を、それが起きた後になって初めて認識したことがあり、将来も同様に認識できない可能性がある」
さらに、AIを使って新モデルを開発したが、その時点では能力向上の規模を認識していなかったとも述べている。これは、開発組織自身が自分たちの進捗を正確にモニタリングできていなかったことを公式に認めたことを意味する。AIの能力評価における「計測の困難さ」が、開発者自身にも及んでいることを示す証言として重い。
現時点では、いずれのモデルも再帰的自己改善の閾値を超えてはいないとしている。ただし、根拠となるデータの評価を継続中であるとも述べており、判定が変わる余地は残されている。
「技術的に可能になっても使わない」という宣言
Anthropicは、たとえ技術的に実現可能になったとしても、Claudeを人間の監督や理解なしに完全自律的にフロンティアモデルの設計・構築に使うことはしないと明言した。
また、AIが安全措置・アライメント・セキュリティ対策の開発を上回るペースで能力を向上させるリスクについても、新たなリスク要因として申請書に追加している。
対応策として、Responsible Scaling Policyの更新を検討中であり、フロンティアモデル開発における人間の制御維持を目的とした内容になる見込みだとしている。
なぜ今これが重要なのか
AnthropicはResponsible Scaling Policyを2023年に公表しており、AIの能力水準に応じて安全対策を義務づける枠組みとして業界に影響を与えてきた。今回の開示は、その枠組みが実際に試される局面が現実に近づいていることを示している。
IPO申請という文書の性質上、「可能性がある」という記述は形式的なものではない。投資家への法的開示である以上、記載内容は経営陣が合理的に想定するシナリオでなければならず、根拠のない誇張はむしろ法的リスクになる。AIの自律的な能力向上というテーマが、SF的議論の領域から企業のコーポレートガバナンス上の課題へと移行しつつあることを、今回の申請書は端的に示している。
詳細はAnthropic says it may soon reach recursive self-improvementを参照していただきたい。
