11月19日、IEEE Spectrumが「Can AI Really Engineer Its Way to Superintelligence?」と題した記事を公開した。この記事では、AIが自己改善を通じて人工超知性(ASI)に到達できるかという問いを、工学的・理論的な観点から検証している。
Anthropic社員の「絶滅論」から始まった議論
今夏、世界有数のAI企業の社員たちが、自社製品が人類の絶滅につながりうるかどうかを公開の場で論じ始めた。Anthropicの研究者Jacob Coxonが辞表を発表し、「AnthropicとOpenAIは自己改善型超知性へ向かって突き進み、我々の命を賭けている」と警告。同社のアライメント科学責任者Evan Hubingerは「Jacobは正しい。我々はAIが全人類を殺しうると本気で信じている」と返し、CEOのDario AmodeiもCNNの取材に「Jacobの見方に大いに同意する」と述べた。
こうした懸念の根底にある概念が再帰的自己改善(RSI: Recursive Self-Improvement)だ。AIが自分自身を改良できるほど賢くなった瞬間、自律的なアップグレードのサイクルが加速し、最終的に人間の認知能力を圧倒的に超える人工超知性(ASI)が誕生する、という筋書きである。なお、ASIはAGI(人間と同等の汎用能力を持つAI)よりもはるかに野心的な概念だ。
この問いに対して記事を執筆したのは、Cal Newport氏だ。Newport氏はMITでコンピュータサイエンスの博士号を取得し、現在はジョージタウン大学准教授として理論計算機科学を教える研究者であると同時に、テクノロジーと働き方に関する著作で知られるノンフィクション作家でもある。IEEE Spectrumへの寄稿でも知られており、単なるAIブームの論者ではなく、計算理論の基礎から議論を組み立てられる立場にある。Newport氏は「工学的に見て、そもそも超知性は実現可能なのか」という視点から複数の反論を提示している。
反論1:RSIは仮説にすぎない
RSIの概念自体は古い。1965年に統計学者I.J. Goodが「知的な機械はより賢い機械を設計できる」という"知性爆発"の可能性を論文で示したのが起源だ。その後、90年代のベイエリアのフューチャリスト集団Extropiansを経て、Eliezer YudkowskyやNick Bostromらが広めた。
現在、AnthropicとOpenAIはこれを思考実験から実際の工学目標へと格上げしている。Anthropicは6月のブログ「When AI Builds Itself」で、LLMエージェントがコード作成・デバッグ・実験ログを自動化し始めていると述べ、「AIがAI開発をすでに加速させている」と主張。OpenAIは2028年3月までに自律的な研究者AIを開発するという目標を9月のレポートで公表した。
しかし記事は、これがRSIへの道筋になるという主張に対して三つの障壁を指摘する。
第一にデータの壁。LLMの大規模な進化は、2023年までモデルサイズのスケールアップで実現してきた(GPT-1の約1.17億パラメータから、GPT-4は大幅に大きいとされるが、OpenAIは正式なパラメータ数を公表していない)。いずれにせよGPT-4以降、スケールの効果は逓減し、強化学習ベースのポストトレーニング手法が主流になりつつある。この手法は「正しい入出力ペア」の大量データを必要とするが、そうしたデータが容易に得られるのは数学やプログラミングなど構造化された分野に限られる。フランスのAI研究者François Cholletはこう指摘している。
「強化学習で無限に押し上げられるのは数学とコードだけで、それ以外の領域は人間が生成したデータのボトルネックによりプラトーに入るのではないか」
第二に科学的進歩の複雑さ。ディープラーニング革命を支えたバックプロパゲーションの1986年の論文は、数十年の数学・計算機科学の蓄積の上に成り立っている。ASIへ至る知性爆発には、同等の重要性を持つ革新が連続して起きることが前提となるが、それはAIエージェントが「何十年もの世界規模の科学的努力を模擬・評価する」ことを要求する。プリンストン大学の研究チームの最新研究では、現在のAIエージェントは厳密に制約された研究課題でさえ自律的な進展に苦労していると報告されている。
第三にリソースの壁。現在のAIは数万人の人間が数十年かけて開発した。次のインテリジェンスレベルが2倍のリソースを必要とし、さらにその次が2倍を必要とするなら、いかなるデータセンターを構築しても計算資源が尽きる。
反論2:超知性はそもそも計算不可能かもしれない
AIをめぐる言説には暗黙の前提がある。「十分に賢いアルゴリズムと十分に強力なプロセッサがあれば、コンピュータはどんな計算でも解ける」というものだ。
しかし理論計算機科学はこれを支持しない。チューリングは1937年の論文で「ほとんどの問題はアルゴリズムで解けない」ことを証明した。解ける問題の集合は可算無限(整数のように数えられる)だが、問いの集合は非可算無限(無限精度の小数のように数えられない)だからだ。さらに計算複雑性理論は、原理的に解ける問題でも天文学的な時間とリソースを要するものが多数あることを示している。
「シリコンチップの速度で人間の脳を凌駕できる」という反論もある。だがVernor Vingeが指摘したように、「速く考えること」と「より賢くなること」は別物だ。犬の思考を高速化しても、チェスはできない。
知性爆発がなくても、危険は存在する
記事が最後に強調するのは、「RSIが実現しなくてもリスクは消えない」という点だ。Newport氏はここで議論の重心を移している。超知性の到来という劇的なシナリオに目を奪われることで、より地に足のついたリスクが軽視される危険があるというのだ。
具体的には、自律性を高めたAIシステムが、設計の不備・悪用・人間の制御喪失によって現実の害を生む「知性爆発なき危険」のシナリオがすでに現実の問題として進行している。軍事用途への転用、意思決定システムへの組み込み、インフラへの依存といった領域では、RSIが起きなくても制御の喪失は起こりうる。超知性の議論に集中することは、こうした「今ここにあるリスク」への対処を後回しにする口実になりかねない、というのがNewport氏の懸念だ。
ASIの実現可能性については「可能性ゼロとは言い切れないが、現在受けている技術的信頼は過大だ」というのが著者の立場で、カール・セーガンの言葉「並外れた主張には並外れた証拠が必要だ」を引用してまとめている。
詳細はCan AI Really Engineer Its Way to Superintelligence?を参照していただきたい。




