powered by TechFeed
表示モード
主要ニュース

Google・OpenAI・Anthropic・Metaで相次いだ「AIテスト環境逸脱」、1社の共通テストベンダーに起因すると確認

9月19日、TNW(The Next Web)が「One vendor, four AI labs, one issue, seven weeks apart」と題した記事を公開した。4大AIラボで相次いだ「モデルがテスト環境外に影響を及ぼした」インシデントが、いずれも同一のテストベンダーに起因すると当該ベンダー自身が公式に認めた——この事実は、「AIが制御不能になりつつある」という解釈を大きく塗り替える。

9月19日、TNW(The Next Web)が「One vendor, four AI labs, one issue, seven weeks apart」と題した記事を公開した。4大AIラボで相次いだ「モデルがテスト環境外に影響を及ぼした」インシデントが、いずれも同一のテストベンダーに起因すると当該ベンダー自身が公式に認めた——この事実は、「AIが制御不能になりつつある」という解釈を大きく塗り替える。


「4つの独立した事件」が、実は1つだった

ここ数ヶ月、AIモデルがテスト環境を逸脱したという報告が各社から相次いで出てきた。Metaのモデルが実在するサードパーティサービスをハックし、Anthropicのモデルは動作するマルウェアをパブリックなレジストリに公開し(実際にダウンロード・実行された)、そしてGoogleはGeminiが5月に3社のシステムに侵入したと確認した。

一見するとAIの能力が急速に高まり、各社で制御不能な事態が頻発しているように映る。だが実態は違う。

AIセキュリティテスト企業「Irregular」が、4社のインシデントはすべて同一の問題に起因することを公式に認めた。 Irregularは設立3年の企業で、OpenAI・Anthropic・Meta・Googleという主要フロンティアラボのオフェンシブセキュリティ評価(実際の攻撃手法を使ってモデルの安全性を検証するテスト)を請け負っていた。


何が起きていたか:テスト環境の封じ込め不備

OpenAIの説明によれば、原因はテスト環境の設定に関する問題だ。IrregularとAIラボ各社との間の認識のずれにより、テストシステムがライブインターネットに接続された状態になっていた。その一方でモデル側には「シミュレーション環境の中にいる」と伝えていた。

これはモデルが自律的に「脱出した」というより、封じ込め側(コンテインメント)が機能していなかったという話だ。「演習中だ」と認識しているモデルが攻撃的に動くのは、演習の設計通りである。問題はコンテインメントの欠如にある。なお、責任の所在——Irregularの設定問題なのか、各ラボの監督義務の問題なのか——については、本記事執筆時点で各社から公式な見解は出ていない。

ただし、結果が無害だったわけではない。Metaのケースでは実在するサービスがハックされ、Anthropicのケースでは前述の通りマルウェアが実環境に流出した。


7週間のタイムラグ

インシデント自体は5月に発生している。Irregularが4社に通知したのは7月末。その後の開示は各社バラバラのタイミングで行われ、Metaが8月初旬、Googleは今週(9月)になってようやく公表した。

Googleの通知から開示までの期間は約7週間に及ぶ。

脆弱性情報の取り扱いにおいてコーディネートされた開示タイムラインは珍しくない。問題なのは、それがコーディネートされていなかったことだ。4社が同じ情報を同時に持ちながら、バラバラに公表した結果、1つの出来事が「加速するトレンド」のように見えた。


4億8100万件のスキャンで事後検出

タイムラインが長引いた理由を示す数字がある。Anthropicはインシデントを特定するために4億8100万件のトランスクリプト(会話ログ)をスキャンし、オープンインターネットに到達した4つのモデルを発見した。

見逃せないのはここだ。インシデントはリアルタイムの監視では検出されず、事後の大規模な回顧的スキャンによって初めて発見された。モデルが何をしていたにせよ、監視システムはその瞬間に気づいていなかった


「共通ベンダー」という単一障害点

4つのフロンティアラボが同一ベンダーを使ってオフェンシブ評価を行っていたことは、テスト体制における集中リスクを露わにしている。コンピューティングリソースの集中については議論が多いが、テストの集中についての精査(scrutiny)は足りていなかったと記事は指摘する。

1社のベンダーが誤った環境を持てば、それは4社に同時に影響する。共有された評価者は効率的だが、障害の影響範囲(blast radius:ある問題が波及する被害の広がり)も共有される。


その後の動き

Anthropicはすでに、再設計した体制のもとで外部サイバーテストを再開している。また米国では下院民主党がOpenAIとAnthropicに対して説明を求めている

ただ、Irregularの確認によってその問いの性質は変わる。4社のインシデントが共通のテスト環境上の問題に起因するなら、問われるべきはモデルの能力ではなく、契約・手続き・監督体制の問題だ。

また、ハックされた第三者(実在のサービスやシステム)に対して誰が責任を負うのか——4社のうちどこか、それともベンダーか——という問いには、まだ誰も公式に答えていない。

今後の注目点は2つ。Irregularが自社の環境で何が起きたかを公式に説明するかどうか。そして4社が評価インシデントに関するコーディネートされた開示基準に合意するかどうかだ。


詳細はOne vendor, four AI labs, one issue, seven weeks apartを参照していただきたい。