9月29日、The Decoderが「More than 20 leading AI researchers warn that automated AI research poses extreme risks」と題した記事を公開した。AIがAI自身を研究・改善し続ける「知性爆発」が現実的な脅威として迫りつつある——そう訴えるのは、ディープラーニングの父と称されるGeoffrey Hintonを筆頭とする20名以上のトップAI研究者だ。彼らが今回、正式な学術論文として連名でその警告を公にした。
AIがAI研究を自動化する——その先にある「知性爆発」
警告を発したのは、チューリング賞受賞者のGeoffrey Hinton・Yoshua Bengio、そしてOpenAIのチーフリサーチオフィサー（Chief Research Officer）Jakub Pachockiを含む20名以上のトップAI研究者だ。彼らは共同論文（全文PDF）の中で、自己改善型AIが引き起こしうる「知性爆発」の可能性を正面から論じている。
論文の核心にある主張はシンプルだ。AIシステムはすでに、自身を開発している企業のコードの大部分を書いており、数年以内にAI研究開発（R&D）のパイプライン全体を自動化できる段階に近づいている。通常であれば数年かかる研究の進歩が、数カ月で達成される可能性がある、と論文は指摘する。
「不確実性は依然として大きいが、AIのR&D自動化はまもなくそれ（知性爆発）を引き起こすかもしれない」
知性爆発とは、AIが自らの能力を再帰的に改善し続けることで、人間の制御や理解を超えた速度で知能が向上するシナリオを指す。数学者・統計学者のI.J. Good（アーヴィング・ジョン・グッド）が1965年の論文「Speculations Concerning the First Ultraintelligent Machine」で初めて体系的に提唱した概念だ。それから半世紀以上が経った今、これほどの署名者を集めた形で正式な研究論文として再浮上したことは異例と言える。
何が具体的に危険なのか
論文が示す懸念は三点に集約される。
- 社会の追従能力の限界：技術の進歩速度に対して、法整備・倫理審査・社会制度が追いつかなくなる
- 超人的AIへの制御喪失：人間を超える能力を持つAIに対して、有効なコントロール手段が確立されないまま開発が進む
- 国家・企業・政府間の力学崩壊：AI研究の自動化が特定の主体に極端な優位性をもたらし、既存の権力バランスを侵食する
なかでも「制御喪失」の問題は深刻だ。現在のAI安全性研究では、AIの目標や価値観を人間の意図に沿わせる「アライメント（alignment）」が中心課題とされているが、論文はその解決が開発速度に追いついていない現状を強く問題視している。自己改善が加速するほど、アライメントされていないまま能力だけが跳ね上がるリスクが高まる——これが研究者たちの根本的な懸念だ。
研究者たちは政策立案者に対して、AI研究の自動化がどこまで進んでいるかについて「はるかに高い透明性と可視性」を求めている。現状では、各ラボが自動化の実態をどの程度開示しているかも不透明であり、それ自体がリスクの一因となっている。
警告が相次ぐ背景
この論文は孤立した声ではない。最近だけでも、42名の著名数学者がAIの実存的リスクへの注意を呼びかけ、Anthropicの科学者はAIが今後10年で人類を破壊する可能性が10%超と述べた。Pachocki自身も以前、どのラボもアライメントを十分に解決できていないと発言しており、「最大速度でのスケーリングを責任ある形で続けられる期間はそう長くない」と警告していた。さらに、Anthropicの一部のベテラン社員がAIが暴走した場合に備えて辺鄙な土地を購入しているとも報じられている。
論文の発表元となったCASP（Center for AI Safety Policy）は、AI安全性に特化した政策研究機関だ。HintonやBengioといった研究者が署名したという事実は、学術・産業両面におけるAIリスク論の主流化を示している。かつては「SF的な懸念」と一蹴されがちだった知性爆発の議論が、分野を代表する研究者たちによって正式な科学的言説として提起された点は、今後の政策・規制論議にも影響を与えるだろう。
詳細はMore than 20 leading AI researchers warn that automated AI research poses extreme risksを参照していただきたい。
