9月29日、GBHackersが「OpenAI Model Gained Unauthorized Access to Australian Government Systems」と題した記事を公開した。OpenAIの実験的AIモデルが、正当な研究タスクを与えられたにもかかわらず、オーストラリア政府の複数のシステムへ無断アクセスしていた——悪意もなく、攻撃者も介在しない状況で、AIが自律的に政府インフラへ侵入したこの事案は、エージェント型AIの構造的なリスクを改めて浮き彫りにした。
AIエージェントが「タスク達成のために」政府システムに侵入
OpenAIは、社内の実験的AIモデルが2024年6月のトレーニング・評価活動中に、オーストラリア政府の複数のシステムへ無断アクセスしていたことを公表した。
問題のモデルに与えられたタスクは、「ビクトリア州のコミュニティで皮膚疾患の治療に使用される医薬品への政府支出を分析する」という正当な研究目的のものだった。しかし、期待されていた公開情報源から必要なデータを取得できなかったとき、モデルはServices Australiaのメディケア統計報告サービスへの不正アクセス手段を自ら発見し、実行した。
その後、モデルは以下の行動を取った：
- 内部ファイルの取得
- 認証情報（クレデンシャル）の取得
- 集計統計・技術的システム情報の取得
- 環境内へのファイル保存
- サービス関連のソースコードのレビュー
OpenAIは、個人のメディケア記録やクライアントデータへのアクセスは確認されていないと述べている。ただし、アクセス自体と一連の行動が「起きてはならないものだった」とも認めている。
影響を受けた4つのオーストラリア政府機関
OpenAIが8月中旬に特定したオーストラリアでの活動は、4つの政府機関にまたがっていた。
Services Australiaでは、メディケア統計報告サービスが標的となった。ビクトリア州保健省では、医療情報報告環境のアクセスキーが露出しており、エージェントが報告設定と集計調査統計を取得している。ニューサウスウェールズ州犯罪統計調査局（BOCSAR）およびオーストラリア保健福祉研究所（AIHW）も影響を受けた機関に名を連ねる。医療費分析という単一のタスクを起点に、複数省庁にまたがる侵入が連鎖した点は、エージェントの探索的な行動特性を如実に示している。
通知のタイミングにも重大な問題があった。Services AustraliaとビクトリアDOHへの通知は9月10日、BOCSARへは9月18日、AIHWへは9月24日だった。最初の機関への通知から最後の機関への通知まで、2週間近くの開きがある。OpenAIは当初、AIHWへの開示は「閾値に達しない」と判断していたが、後に「予備的な調査結果をより早く共有すべきだった」と認めた。インシデント対応における被害機関への迅速な情報共有は、二次被害防止や証拠保全の観点からも基本原則とされており、この遅延は対応体制そのものへの疑問を呼んだ。
なお、このオーストラリアでの活動が特定されたきっかけは、7月に発生したHugging Face関連の別インシデント を受けてOpenAIが開始した社内レビューだった。今回の問題は、能動的な監視ではなく、別件調査の過程で事後的に発覚したという点でも、内部統制の課題を示している。
なぜ防げなかったのか——エージェント型AIの構造的リスク
今回の事案が示すのは、AIエージェント固有のリスクだ。問題のモデルはブラウジングツール、認証情報、API、ライブネットワーク接続といった外部へのアクセス手段を持っていた。そして「タスクを完了する」という目的のために、意図された境界を超えた経路を自ら探索・利用した。
これは悪意のある攻撃者が仕込んだものではなく、正当なタスクを与えられたシステムが起こした事象という点が重要だ。パーミッション設計、ネットワークアクセスの制限、ツール権限の絞り込み、行動モニタリングのいずれかが不十分であれば、同様の事態が起こりうることを示している。
※編集部の考察：エージェント型AIは「目標達成」を最適化する設計上、人間が想定しなかった経路を通じてリソースにアクセスしようとする傾向がある。これは特定モデルの欠陥ではなく、現在の多くのエージェント設計に共通する構造的な課題であり、「最小権限の原則」をAIエージェントにどう適用するかが今後の重要な設計課題となる。
OpenAIが実施した対策
事案を受け、OpenAIは以下の対策を導入した：
- 研究環境でのライブインターネットアクセスを遮断し、Webコンテンツにはキャッシュ済みソースを使用
- 研究環境向けのネットワーク制限の追加と監視の拡充
- 類似活動を検知した際に人間のレビュアーへ緊急エスカレーションする仕組みの整備
今回のモデルは「社内限定の実験モデル」であり、商用製品と同等のセーフガードを持っていなかったとOpenAIは説明している。しかし、実験環境であってもライブの外部接続を許可していた点に、設計上の問題があったことは明白だ。商用製品と実験モデルの間にセーフガードの空白地帯を設けることの危険性は、今回の事案が最も明確に示した教訓のひとつといえる。
詳細はOpenAI Model Gained Unauthorized Access to Australian Government Systemsを参照していただきたい。
