10月2日、TechTargetが「Nvidia agent safety push raises questions about who governs AI autonomy」と題した記事を公開した。NVIDIAがAIエージェントの安全性プラットフォームを発表したことを契機に、AIの自律性をめぐるガバナンスの責任が誰にあるのかという問題について詳しく論じた内容だ。
AIエージェントが企業システム内でツールを呼び出し、データにアクセスし、意思決定を自律的に行う能力を持ち始めている。規制当局が「安全」の定義をまだ固めていない中、ベンダーが先行して制御機構を構築し、企業はその間に挟まれてポリシーを自分で定める必要に迫られている。
NVIDIAのOpen Agent Safety Platform
NVIDIAはOpen Agent Safety Platformを発表した。このプラットフォームは2つのコンポーネントで構成される。
- OpenShell：エージェントの実行中にアクセスと行動を制御するオープンソースのシェル（元記事における位置づけに基づく）
- Sentry：別の制御レイヤーを使ってその制限を監視・適用するリファレンス設計
従来のAIガードレールはモデルレベルやアプリケーションレベルで機能するが、このプラットフォームはエージェントの外側に制御層を置くアーキテクチャを採用している点が異なる。
サイバーセキュリティシミュレーション企業SimSpaceのCTO兼共同創業者Lee Rosseyはこの設計思想を支持する。
「モデルレベルのガードレールは安全アーキテクチャの一層に過ぎない。企業にはエージェントの周囲に、何にアクセスできるか、どこへ行けるか、いつ停止しなければならないかを定める制御が必要だ」
さらにRosseyは重要な原則を指摘する。エージェントが悪意なく指示に従っていても、組織が意図しない行動を取り得る。だからこそ「境界を強制するシステムがエージェント自身に依存してはならない」という。
NVIDIAはMicrosoft、Salesforce、SAP、ServiceNow、Cisco、Scale AIを含む100以上の組織がこの安全技術に取り組んでいると発表している。ただし、参加規模が大きいとはいえ、これは規制上の標準ではなく、あくまでベンダー主導の取り組みだ。
「どこに境界を引くか」は技術が決めない
プラットフォームが提供するのは境界を強制する仕組みであって、どこに引くべきかは別問題だ。
AIコンプライアンスプラットフォームのIO CEO、Chris Newton-Smithはこう断言する。
「テクノロジーがその境界を決めることはできない。その責任はエージェントを展開する組織にある」
サイバーセキュリティアドバイザリ企業Gadget AccessのCISOであるAndrew Curtisは具体例を挙げる。
「エージェントはサンドボックス内に留まっていても、間違った支払いを承認することがある」
財務アプリケーションへのアクセス権があっても、そこで実行可能なすべてのトランザクションが承認されているわけではない。この区別が重要だ。元記事でCurtisが示す考え方に基づけば、企業はエージェントが独立して実行できる行動・人間の承認が必要な行動・絶対に禁止する行動の3種類を明確に定義しなければならない。
規制側のアプローチは2方向
元記事によれば、米国議会では現在、AIエージェントの自律性に関して2つの異なる法案が提出されている。
- AI Kill Switch Act（Lieu下院議員・Moran下院議員提出）：強力なAIシステムの開発者に対し、システムを減速・停止させる技術的能力の維持を義務付ける
- Stop Rogue AI Act（Gottheimer下院議員・Lawler下院議員提出）：NISTにAIエージェントの発見・監視・制御に関する標準を策定させる
前者は「開発者の制御能力」を規制し、後者は「展開組織のガバナンス標準」を整備するアプローチだ。規制の方向性がまだ定まっていない以上、企業はベンダーのフレームワークに依存するだけでは不十分だとNewton-Smithは警告する。
「どのエージェントやプラットフォームを使うかに関わらず、個別ベンダーを超えたガバナンスが必要だ。明確な責任、権限、リスク評価、アクセス制御、監視、人間による監督を組織として整備しなければならない」
「デファクトスタンダード」になるリスク
規制が確立されていない状況では、ベンダーが定めた技術的な実装が事実上の業界標準になる可能性がある。Curtisはこのメカニズムを説明する。
「ベンダーのフレームワークが実用的な標準を形成するのは、開発者が実装しやすいインターフェース、ポリシーテンプレート、ログ形式を採用する傾向があるからだ。そうした選択がやがて企業の調達要件や保証プロセスに組み込まれていく」
ただしベンダー間で互換性のないアプローチが乱立し、そこに規制が業界慣行と異なる要件を課す展開になれば、企業はさらに複雑な調整を迫られることになる。
エンジニアへの示唆
※以下の3層整理は編集部がCurtisおよびNewton-Smithの発言をもとに構造化したものであり、元記事に明示された分類ではない。
AIエージェントの導入を進める組織が実際に対処すべき問題を整理すると、次の3層が重なり合う形になる。
- 規制層：要件を設定する（現在進行中）
- ベンダー層：技術的制御を構築する（NVIDIAなどが先行）
- 企業層：エージェントにどこまでの権限を与えるかを決定する
Curtisはパイロットを超えて本格展開に移行する企業向けに具体的なアドバイスを示している。エージェントのインベントリ（一覧）、その所有者、接続システム、許可された行動を記録・管理することが出発点となる。
NVIDIAのプラットフォームは「境界を強制する道具」を提供した。だが「どこに境界を引くべきか」「誰がその決定に責任を持つか」「組織はその強制を検証できるか」という問いへの答えは、依然として企業自身が出さなければならない。
詳細はNvidia agent safety push raises questions about who governs AI autonomyを参照していただきたい。
