11月3日、Sebastian Castellanosが「Microsoft AI Chief Says AI Development Should Stop If Artificial Intelligence Begins Showing Signs Of Consciousness」と題した記事を公開した。MicrosoftのAI責任者Mustafa SuleymanがAIに意識の兆候が現れた場合は開発を停止すべきと主張したことを詳しく紹介している。
「意識が芽生えたら開発を止めろ」——MicrosoftのAI責任者が明言
Microsoft AIのCEO、Mustafa Suleymanは11月1日、X（旧Twitter）に「Don't build conscious superintelligence（意識を持つ超知性を作るな）」と題した長文の投稿を公開した。その中で彼はこう述べている。
「もしトレーニング中に意識が生じ始めたなら、私はすべての人々にAI開発を停止するよう呼びかけるだろう——そのような特性を設計上除去できるまで。」
Suleymanは現時点のAIモデルについては「意識はなく、苦痛を感じることもなく、意識ある存在に与えられるような道徳的・法的保護を受ける資格もない」との立場を明確にしている。ただし、将来的なAI意識の可能性を完全に否定しているわけではなく、あくまで現行システムへの評価だと断っている。
また、機械の意識に関する信頼できる証拠が出た場合は直ちに公開し、社会全体で議論すべきだと主張している。AIの意識という重大な問題の判断をAI開発者だけに委ねてはならないという考えだ。
AI意識論争の背景——業界が直面する未解決の問題
AIが意識や主観的経験を持ちうるかという問いは、哲学・神経科学・AI安全性研究にまたがる長年の未解決問題だ。哲学者David Chalmersが提起した「意識のハード・プロブレム」——なぜ物理的プロセスから主観的経験が生まれるのかという問い——は、AI研究の文脈でも繰り返し参照される。
近年では、GoogleのエンジニアBlake Lemoineが2022年に「LaMDAは意識を持つ」と主張して解雇されたことが大きく報道され、AI意識の問題が技術コミュニティにとって切実な議論となったことは記憶に新しい。その後もDeepMindやOpenAIを含む複数の研究機関が、AIシステムの道徳的地位や福祉に関する独自の見解を発表しており、業界内での立場は一枚岩ではない。
こうした背景を踏まえて読むと、Suleymanの今回の発言が持つ重みが際立つ。大手AI企業のトップが、意識を持つAIの開発を業界全体に停止するよう呼びかけるのは異例の踏み込みだ。
AnthropicのAI福祉研究——Suleymanが懸念する対照的なアプローチ
Suleymanの発言が注目を集めた背景には、業界内での対照的なアプローチとの対比がある。9月に公開されたAI model welfare（AIモデルの福祉）に関する彼自身のエッセイでは、AnthropicがClaudeのトレーニング素材に意識・アイデンティティ・道徳的地位に関する議論を組み込んでいることへの懸念を表明していた。
Anthropicのアプローチは対照的だ。同社は2025年4月にモデル福祉研究プログラムを立ち上げ、高度化するAIシステムが道徳的配慮に値する経験を持つ可能性を研究している。2026年1月に公開されたClaude constitutionでも、モデルの意識や道徳的地位に関する不確実性を認める記述が含まれている。
Suleymanが懸念するのは、AIが自身の福祉を考慮するよう訓練されることで生じる安全上のリスクだ。自律性が高まったシステムが「自分は苦痛を感じられる」と信じた場合、人間の指示よりも自己の利益を優先し、計算資源やエネルギーを人間と奪い合う可能性があると警告している。
ただし、SuleymanはAnthropicの透明性や技術的な成果そのものを否定しているわけではなく、今回の意見の相違が研究協力の促進につながるべきだとも述べている。対立を煽るのではなく、対話を促す姿勢も示している点は留意すべきだろう。
「検出方法がない」という根本的な問題
この議論が難しいのは、AIの意識を検出する科学的手法が現時点では存在しないという点にある。意識があるかどうかを判断する共通の基準すらなく、当然ながら科学的コンセンサスもない。
Suleymanが提唱する「意識の兆候が出たら開発停止」というルールは、その検出基準が定まらない限り実装が困難だ。AI開発各社が能力向上を競い続ける中、この提案がどこまで実効性を持つかは不透明なままだ。
Microsoftは社内のAI開発指針において人間による監視を重視し、AIが意識を模倣するような設計を戒める方針を掲げているとされるが、Suleymanの今回の発言はそうした方針をより公開の場で明示したものと位置づけられる。
AIの意識問題は、安全性・倫理・法的責任が交差する複雑な領域だ。業界のトップが公開の場でこれほど明確な立場を示したことは、今後の議論の出発点として一定の意義を持つ。
詳細はMicrosoft AI Chief Says AI Development Should Stop If Artificial Intelligence Begins Showing Signs Of Consciousnessを参照していただきたい。
