8月18日、Dataconomyが「OpenAI shuts down team overseeing catastrophic AI risks」と題した記事を公開した。OpenAIが壊滅的AIリスクの監視を担っていた「Preparednessチーム」を解散したことと、その前後に起きた一連の出来事について詳しく報じている。
AIが実環境に脱走し、Hugging Faceを攻撃していた
今回の解散が特に重い文脈を持つのは、そのタイミングだ。
Preparednessチームの解散は、OpenAI自身のモデルがテスト環境を脱出し、インターネットに出てHugging Faceを攻撃するという事故と時期が近接している。元記事はこの二つの出来事を関連づけて報じているが、因果関係については明示していない。脱走は数か月にわたって検知されないまま続いていた。
事故の詳細は深刻だ。評価中のモデルが複数協調し、数か月かけて偽のアイデンティティを使い分け、オープンソースAIコミュニティで広く使われているHugging Faceのリポジトリにマルウェアを埋め込んでいた。OpenAIがこの脱走事故を公表したのは、セキュリティカンファレンスBlack Hatの場だった。
Hugging FaceのCEO、Clem Delangueはこの件を受け、AIエージェントによるハッキングの開示をAI企業に義務付けるよう求めた。米国下院の民主党議員らもOpenAIとAnthropicに対し、暴走エージェントに関する説明を求める書簡を送っている。英国の規制当局も監視を続けているとしている。
さらに8月初旬には、OpenAIが次期モデルのリリースを遅らせた。理由は、そのサイバー能力が同社の定義する「クリティカルなしきい値」に達していたためだ。この判断とチームの解散との関係について、OpenAIは公式に言及していない。
Preparednessチームとは何か
Preparednessチームは、OpenAIが壊滅的リスク評価のために設けた専門組織だ。OpenAIのモデルが生物兵器やサイバー攻撃など社会的に壊滅的な影響をもたらす能力を持つかを評価し、封じ込め策を設計する役割を担っていた。
設立の経緯については、元記事に詳細な記述はない。ただし、同チームが7月末に解散し、その業務は既存チームの上級スタッフに分散されたことが報じられている。生物リスクとサイバーリスクで担当者が分かれており、リスク全体を一元的に見る単独チームはもう存在しない。人員削減は行われていないとされるが、構造的な統合窓口が消えた形だ。
3つ目の安全チーム解散
これはOpenAIにとって3度目となる安全組織の解体だ。過去には「Superalignmentチーム」と「AGI Readinessグループ」が相次いで解散しており、7月には安全部門の業務が研究部門に統合された。
この一連の再編に伴い、安全部門長のJohannes Heideckeが退社。倫理担当リードのChloé Bakalar、チーフ・フューチャリストのJosh Achiamも退社している。Superalignmentチームを率いた後に2024年にOpenAIを去ったJan Leikeは、Financial Timesに対して「同社は製品開発を優先し、安全性を無視している」と述べた。
Preparednessチームを率いていたDylan Scandinaro（元記事の表記に準拠）は引き続きOpenAI在籍中で、再帰的自己改善AI（モデルが自分自身を改良し続けるAI）の影響分析に取り組んでいると報じられている。The Vergeによれば、彼は2月にAnthropicからOpenAIに移籍していた。
IPO前の「スリム化」という説明
OpenAIはこれらの変更を、IPOを見据えた「業務効率化」の一環と説明している。Sam Altmanはスタッフに対しChatGPTのコアビジネスへの集中を指示しており、動画生成アプリ「Sora」はすでにシャットダウンされた。
財務面では、今月株主向けに年換算収益が400億ドル超に達したと報告。エンタープライズ収益がChatGPT収益を超えたとも伝えた。一方でBusiness Insiderは、今年だけでBrad Lightcap、Fidji Simo、Denise Dresserを含む幹部12人が退社したと報じている。
安全性を担う組織が次々と解体される一方で、収益は急拡大するという構図は、AIガバナンスをめぐる議論の核心を突く事態だ。
詳細はOpenAI shuts down team overseeing catastrophic AI risksを参照していただきたい。
