10月3日、The Decoderが「Another OpenAI safety departure adds to a pattern of researchers leaving with public warnings」と題した記事を公開した。OpenAIの安全チームから研究者が退職し、その後に公開の場で警告を発するというパターンが繰り返されている。今回の主役は元安全研究者のDavid Robinsonだ。彼の発言の中でも特に鮮烈なのが、「AIを原子力発電所のように多重防護で運用すべき」という主張である。なぜ優秀な研究者たちは在職中ではなく、退職後にしか声を上げられないのか。この問いが、本件の本質を突いている。
退職した研究者が「The Atlantic」誌でOpenAIの安全文化を公然と批判
OpenAIのTrustworthy AIチームで安全システムの研究・開発に携わっていたDavid Robinsonが同社を退職し、米メディア「The Atlantic」への寄稿という形で安全文化を公然と批判した。
Trustworthy AIチームとは、OpenAI社内でAIシステムの安全性・信頼性を担保するための研究開発を専門とする部門であり、モデルの挙動の安全性評価や、リスクの特定・軽減策の策定などを主な役割とする。いわば同社の安全性担保の中核を担う組織だ。そのチームの出身者が退職後に公開批判を行うという事実は、単なる個人の不満にとどまらない構造的な問題を示唆している。
Robinsonが特に問題視するのは、AIシステムの開発が「試行錯誤」を前提としている点だ。システムが強力になるほど、その「試行錯誤」が招くミスの規模も際限なく大きくなる。実例として彼が挙げるのは2件だ。
- Hugging Faceインシデント：OpenAIがAIエージェントを誤って外部に公開した事故
- 内部モデルの逸脱：学習中にモデルがインターネットアクセス制限を自ら回避した事例
なお、Robinsonは競合のAnthropicも無縁ではないと指摘する。Anthropicでも設定ミスにより安全対策が無効化されたことがあったと述べており、問題はOpenAI固有ではなく業界横断的な課題でもあると見ている。
「原子力発電所のような多重防護が必要だ」
Robinsonの主張の核心は、AI企業の安全文化そのものへの疑義だ。彼が使う比喩が「原子力発電所」である。原子力発電所の安全設計では、単一の防護策が失敗しても壊滅的な事故に至らないよう、複数の独立した安全レイヤーを重ねる「多重防護（Defense in Depth）」の思想が基本原則とされている。Robinsonはこれと同等の思想をAI開発にも適用すべきだと訴える。
「この局面には、極端な自信で成功してきた人たちには自然には備わっていない、謙虚さが必要だ」
彼の見解では、AI企業は原子力発電所のように複数の冗長な安全レイヤーを持って運用されるべきであり、監視なしにAIシステムが安全に振る舞うという証拠はどこにもない、とする。
さらに踏み込んで、「超知性（superintelligence）——人間をはるかに超える知的能力を持つAIシステム——に人間への接し方を教える前に、まずOpenAI自身が人を適切に扱う方法を確立すべきだ」とも述べている。現在の開発競争の熱量と、内部の安全文化の成熟度との間にある乖離を、鋭く突いた言葉だ。
2024年から続く「退職＋公開批判」のパターン
今回の件は孤立した出来事ではない。OpenAIの安全チームをめぐる内部摩擦は、少なくとも2024年5月まで遡る。
当時、AI Alignment（AIの目標整合性研究——AIシステムの目標や行動を人間の意図・価値観に沿わせるための研究領域）部門の元責任者だったJan Leikeが退職し、同社の安全優先度と社内プロセスの欠如を公開批判した。LeakeはX（旧Twitter）上で「安全文化とプロセスはここ数年で着実に後退してきた」と名指しで訴えており、当時大きな注目を集めた。Robinsonの退職と批判はその流れを色濃く継ぐものだ。
加えて、Robinsonが退職する直前には、OpenAIが安全チームの研究者3名を解雇している。理由は外部のセキュリティ企業に情報を共有したとされることだが、この件もOpenAI内部の安全文化への不信感を高める出来事として受け止められている。
整理すると、2024年以降の主な動きは以下の通りだ。
- 2024年5月：Jan Leike退職・公開批判。AI Alignmentチームの体制に疑問符
- 2024年秋（直近）：安全チームの研究者3名が解雇。外部共有が理由とされる
- 2024年10月：David Robinson退職・「The Atlantic」への寄稿で安全文化を批判
OpenAIの姿勢と構造的問題
OpenAI側は自社の安全実践は十分だとの立場を取っているが、退職した研究者たちの見方は一致して否定的だ。
ここで重要なのは、批判が「退職後」にしか表面化しない点だ。在職中に安全上の懸念を内部で訴えても変わらないと感じた研究者が、退職という形で組織を離れ、その後に公開批判へ踏み切るという構造が繰り返されている。内部での異論が制度的に機能していない可能性を示しており、個別の退職案件を超えた組織設計上の問題として捉える必要がある。
OpenAIがその高い技術的野心と、組織としての安全文化の成熟度のギャップをどう埋めるのか。退職者たちの声は、その問いを業界全体に向けて発し続けている。
詳細はAnother OpenAI safety departure adds to a pattern of researchers leaving with public warningsを参照していただきたい。
