9月29日、The Decoderが「Harvard psychologist calls for sober AI safety engineering over doomsday rhetoric」と題した記事を公開した。ハーバード大学の心理学者スティーブン・ピンカーが、AIの実存的リスク（x-risk）をめぐる終末論的言説を正面から批判し、冷静な安全工学への転換を訴えたものだ。「AIが人類を支配・絶滅させる」というシナリオの前提そのものが誤っている、というのがピンカーの主張であり、AIセーフティ議論の二項対立を揺さぶる内容となっている。
ピンカーが「ペーパークリップ最大化問題」を切り捨てる
AIが人類を滅ぼすシナリオとして有名な「ペーパークリップ最大化問題（Paperclip Maximizer）」をご存知だろうか。AGIがペーパークリップ生産を最大化するという目標を与えられた結果、人類を含む全資源を使い果たすという思考実験だ。哲学者ニック・ボストロムらが提唱し、AIリスク議論でたびたび引用されるこの問題に対し、ピンカーは明確に異を唱えた。
彼の主張は単純だ。「知性」と「支配への欲求」は別物である。ペーパークリップ問題のようなシナリオは、高度な知性を持つシステムが単一の目標に狂ったように固執するという誤った前提に立っている、というのがピンカーの見立てだ。
このオープンレターは、精神科医・ブロガーとして知られるScott Alexanderへの返答として、Quillette誌に掲載された。Alexanderはピンカーに公開討論を呼びかけていたが、ピンカーはこれを「観客のためのスポーツ」と一蹴し、代わりに書面で自身の立場を表明した。
ちなみにAlexander自身は6月に自身のブログで立場を表明しており、「AIが人類を滅ぼす確率は20%」と見積もっている。さらに安全研究の強化とAI開発を抑制する国際的な合意の両方を求めている。
「過小評価していた」という自己批判と、より現実的なリスク論
ピンカーはもともとAIに楽観的な立場を取ってきた人物だが、今回のレターではLLM（大規模言語モデル）の能力を過小評価していたと認めている。また、AI企業がいかに無謀に製品をリリースしてきたかも想定外だったと述べている。
さらにピンカーが皮肉として指摘するのが、AIリスクを声高に警告してきた当事者たちが開発競争を主導しているという構図だ。元記事ではその典型例としてAnthropicが挙げられている。CEOのダリオ・アモデイはAIの自己改善が人間の制御を超える前にスピード制限が必要だと訴えながら、開発を加速させているとされる。
では、ピンカーが真剣に受け止めるリスクは何か。それは以下の3つだ：
- バイオテロリズム（AIによる生物兵器設計の支援）
- サイバー攻撃（AIを活用した高度な攻撃）
- 制御されていないAIエージェント（自律的に行動するAIシステム）
終末論的な言説はこれらのリスクに何ら対処しない、というのが彼の結論だ。
「冷静な安全工学」とは何か
ピンカーが代替案として提示するのは、独立した監視機関、法的責任の明確化、そして人間による制御に基づく安全工学だ。SF的なシナリオへの恐怖を煽るのではなく、既存の工学的手法と制度設計で対処できる、という立場である。
ここで背景として押さえておきたいのが、AIセーフティ議論における二つの潮流だ。一方は「実存的リスク（x-risk）」派で、ボストロムや故エリエゼル・ユドコウスキーらが代表格とされる。AGIが人間の価値観と整合しないまま超知性へ到達した場合、人類そのものが脅威にさらされるという立場だ。もう一方は「現実的リスク」派で、AIによる雇用喪失・偽情報・サイバー犯罪といった、より近い将来に顕在化する問題を優先すべきだと主張する。ピンカーは今回のレターで明確に後者の立場を取ることで、この長年の対立に正面から切り込んだ。
「終末論より工学で対処せよ」というメッセージは、抽象的なアライメント議論よりも、現場で動くシステムの安全性設計に向き合うエンジニアには刺さる部分があるはずだ。ハーバードの心理学者によるこの反論が、AIセーフティ議論の構図をどう変えるかは未知数だが、x-risk一辺倒だった言論空間に一定の揺り戻しをもたらす可能性はある。
詳細はHarvard psychologist calls for sober AI safety engineering over doomsday rhetoricを参照していただきたい。
