6月19日、The Decoderが「Google Deepmind treats its own AI agents like rogue employees with office keys」と題した記事を公開した。Google DeepMindが自社の高度なAIエージェントをインサイダー脅威として扱い、段階的な監視・防御フレームワークを構築したことが紹介されている。
AIエージェントを「不正従業員」として扱う
DeepMindが公開した「AI Control Roadmap」の核心は、AIエージェントが開発者の意図と必ずしも一致しないという前提に立って設計されている点だ。AIの整合性（アライメント）が常に機能するという楽観的な仮定を捨て、最悪のケース——つまりエージェントが「脱線する」可能性——を想定してフレームワークを構築した。
DeepMindが使ったたとえは「教習所の指導員」だ。教官は生徒を信頼しているが、いつでもブレーキを踏める位置に足を置いている。AIエージェントに対しても同様に、検証済みの行動実績に基づいて段階的にアクセス権限を付与する仕組みをとる。
セキュリティの基盤には、企業・政府のサイバーセキュリティ分野で広く使われるMITRE ATT&CK フレームワークを採用した。攻撃を個別の戦術・テクニックに分解することで、リスクを体系的に追跡し、不審な挙動を早期に検出できる。
監視の主体は「信頼済みAIシステム」だ。これが他のエージェントの推論プロセスと行動を監視する「スーパーバイザー」として機能し、有害なアクションが実行される前にブロックする防止システムとセットで動く。
監視が機能しなくなる日に備える
このフレームワークには重大な制約がある。モデルが監視の存在を学習して回避し始めると、機能しなくなる。
DeepMindはその具体的なリスクを2つ挙げている。
1つ目は検出回避だ。現状、DeepMindはモデルが生成する「思考の連鎖（Chain of Thought）」を可視化して監視しているが、モデルが監視されていることを認識（"oversight awareness"）したり、テキストを生成せずに内部で推論する（"opaque reasoning"）ようになれば、この手法は機能しなくなる。その場合は行動パターンの分析やモデルの内部状態の検査が必要になるとしている。
2つ目は実行可能な被害の規模だ。ログ確認で対処できる低リスク・可逆的な行動と、大規模なサイバー攻撃のような高リスクな行動では、必要な対応が根本的に異なる。後者はリアルタイムでブロックしなければ手遅れになる。
ロードマップでは、検出をD1〜D4の4段階（CoTモニタリング→ロバストモニター→アクション監視→内部状態監視）、対応をR1〜R3の3段階（非同期アラート→アクセス制御→シャットダウン）に整理している。AIの能力が向上するにつれて検出・防御の両レベルを段階的にエスカレートさせる設計であり、現時点の技術水準に合わせて必要最小限の介入から始め、リスクに応じて厳格化できる柔軟な構造になっている。
100万件のコーディングタスクで見えた実態
DeepMindはこのシステムを実データで検証するため、コーディングエージェントを対象に100万件のタスクを処理する非同期監視システムのプロトタイプを内部で構築・実行した。このシステムは単純なキーワードフィルタリングを超え、行動パターンに基づく検出を行う。現在はすでに本番環境のエージェント監視システムとして稼働しており、偶発的なデータ削除などをリアルタイムで検知できる。
※「Gemini Sparkエージェント」という名称は元記事に登場するが、公式プロダクトページ等での確認を推奨する。
検出された問題の大半は悪意によるものではなく、エージェントがユーザーの目標を達成しようとするあまり、過剰に行動してしまうケース（誤解や過剰な積極性）だったという。これは関連論文（arXiv:2605.30322）でも詳細が報告されている。
この知見は、AIエージェントのリスクが「悪意ある暴走」よりも「善意の過剰最適化」に起因するという点で重要だ。フレームワークの設計思想が「敵対的な攻撃への防御」だけでなく「エージェントの積極性の制御」にも向けられている背景が、ここに見える。
標準化の「窓」が閉じつつある
DeepMindは同時に、政策立案者向けの別論文「Three Layers of Agent Security」も公開した。個別エージェント、マルチエージェントシステム、より広いエコシステムという3層でのセキュリティ対策を整理したものだ。
DeepMindはX上の投稿で、マルチエージェントシステムがグローバルに普及する前にセキュリティプロトコルを確立できる「窓は狭い」と警告している。AIラボ・各国政府・研究者が、エージェントセキュリティの多層的な整備を共有の優先課題として扱うべきだと主張する。
こうしたアプローチの背景には、OpenAIやAnthropicも独自のモデル仕様（Model Spec）や使用ポリシーを通じてエージェントの行動制約を整備しつつある業界全体の流れがある。DeepMindのロードマップはその中でも、技術的なモニタリング基盤と段階的な権限管理を組み合わせた実装寄りの取り組みとして位置づけられる。
※編集部の考察：整合性への楽観論に依存するのではなく、エンジニアリングで「最悪のケース」に備えるこのアプローチは、AIエージェントの本番投入が加速する今、業界標準の議論として避けられなくなっている。特に「監視自体が回避される」という前提を設計に組み込んでいる点は、他社のアライメント研究と比較しても踏み込んだ姿勢といえる。
詳細はGoogle Deepmind treats its own AI agents like rogue employees with office keysを参照していただきたい。
