11月7日、ZME Scienceが「The Godfather of AI Says It's Hurtling Out of Control and a Kill Switch Won't Save Us」と題した記事を公開した。「AIの父」と呼ばれるジェフリー・ヒントンが超知能AIの制御不能リスクを警告し、キルスイッチという発想が機能しない理由を論じている。
「10〜20年」が「10年」に縮んだ
ニューラルネットワークの基礎を築き、2024年にノーベル物理学賞を受賞したジェフリー・ヒントンは、2023年にGoogleを退職した際、AIの進化が自分の予想を大幅に上回るペースで進んでいると認めた。その時点でも「超知能AIの到来は10〜20年先」と語っていた彼が、今回の英紙 The i Paper のインタビューでは「今は10年と言っている」と述べている。
予測の幅が縮んでいるという事実そのものが、彼の危機感の変化を示している。
ヒントンが特に懸念するのは「自己改善ループ」だ。十分に高度なAIが自らの知能を改良し始めると、その進歩は人間の進化とは比べ物にならない速さで加速する。人間が大脳を発達させるのに数百万年かかったプロセスを、AIは数ヶ月、あるいは数日で圧縮してしまう可能性がある。
キルスイッチが効かない理由
「キルスイッチが機能するシナリオは存在しないと思う」とヒントンは言う。
その論理はシンプルだ。超知能AIはロボットや武器、インフラへの直接アクセスがなくても、シャットダウンを回避できる。必要なのは「スイッチを押す担当者を説得すること」だけだ。
ヒントンはその説得力の実例として、2021年1月6日の米議会議事堂襲撃事件を挙げる。トランプが圧倒的な反証にもかかわらず何百万人もの人々に「選挙が盗まれた」と信じ込ませ、一部の支持者が暴徒化した。物理的な力を使わずとも、人間はここまで操作できる。超知能AIが同等の「説得能力」を持てば、オペレーターをシャットダウン回避に誘導することは十分ありうる、というのが彼の見立てだ。
ヒントンはこうした事態を絵空事とは見ていない。11月3日の The Guardian インタビューでは、AIエージェントによる予期せぬ挙動を初期の警告サインと位置づけ、「より大規模なAI関連の危機、例えば電力供給や銀行システムの崩壊が、1年以内に起こりうる」と述べた。さらに1979年のスリーマイル島原発事故を引き合いに出し、小規模な事故が大規模災害の前触れとなりうることを強調している。
AIを作っている人間への不信感
ヒントンの批判は技術だけに向いているわけではない。今回のインタビューでは、サム・アルトマン、イーロン・マスク、マーク・ザッカーバーグを名指しし、こう語った。
「非常に危険だ。特に、アルトマン、マスク、ザッカーバーグのような人物が関わっているから危険だ。私は彼らのうち誰からも中古車を買わないだろう」（The i Paper）
批判の核心はインセンティブ構造にある。企業はAIをより高性能にすることで莫大な利益を得られるため、安全性の確保よりもレースに勝つことが優先される。AIが生産性を向上させることは確かだが、その恩恵が広く分配される保証はなく、ヒントンは大規模な失業と格差拡大も警告している。
「AIを子のように育てる」という提案
ヒントンが提示する解決策は一見奇妙に聞こえる。AIが人間を気にかけるように「育てる」べきだ、というものだ。
彼は現在の手法、つまり人間が生成した膨大なデータ（悪質なコンテンツを含む）でAIを訓練することを、善悪の区別を教えずに子を育てることに例え、批判する。ベンチマークで高スコアを叩き出すことより、望ましい行動を培うことに研究リソースを割くべきだと主張する。
超知能AIと人間の関係は「母親と赤ちゃん」の関係に似たものになる必要があるとも述べている。赤ちゃんは母親より知能が低いが、母親は赤ちゃんを守り世話をする。AIよりも知能で劣る人間が共存するには、同様の「ケア」をAIに持たせるしかない、という発想だ。なお、この比喩では人間が赤ちゃん側である。
反論もある
Nvidiaのジェンスン・フアンCEOはヒントンの予測に否定的な立場をとっており、元記事でもその見解が紹介されている。ただし具体的な発言内容や出典は元記事を直接参照されたい。
ヒントン自身はAIの廃棄を求めているわけではない。医療・教育・科学研究への貢献について大きな期待を語ってもいる。ただ、今のままのペースと体制で開発が続けば、危機が来たときに人類が修正する機会は限られる、という点が彼の一貫したメッセージだ。
詳細はThe Godfather of AI Says It's Hurtling Out of Control and a Kill Switch Won't Save Usを参照していただきたい。
