10月11日、Ramish Zafarが「Microsoft CEO Nadella Says AI Models Should Be Assumed Compromised From The Start, Wants Humans Able To Pause Them Mid-Task」と題した記事を公開した。MicrosoftのCEO Satya NadellaがAIエージェント時代のセキュリティ哲学として「AIモデルは最初から侵害済みと想定すべき」と主張したことを詳しく伝えている。
「AIモデルは最初から侵害済みと想定せよ」
エージェントAI（自律的にタスクを実行するAIシステム）の普及が加速する中、NadellaはAIセキュリティに関する自身の考えを発信した。
Nadellaが問題視したのは、AIモデルが非決定論的（同じ入力に対しても毎回異なる出力を返す可能性がある）であるにもかかわらず、「最も機密性の高いデータへのアクセスを与え、ミッションクリティカルな行動を代行させている」という現実だ。AIモデルは事実上、企業の「インサイダー（内部関係者）」として機能しており、その扱いもそれに見合ったものであるべきだとNadellaは主張する。
AI同士の相互監視は「入れ子になったブラックボックス」
現在、AIの安全性を担保する手段としてよく挙げられるのが、Chain of Thought（CoT）透過性とAIによるAIの相互評価だ。CoTとはモデルが出力に至るまでの「推論過程」を可視化する手法で、安全性検証の文脈で注目されている。
しかしNadellaはこれらを「出発点」と認めつつも、十分ではないと断じる。
「モデル同士を使って互いに敵対的にテスト・検証することはできるし、すべきだ。しかし結果として、不透明なオーケストレーション層の中に不透明なモデルがあり、それをまた別の不透明なモデルが監視するという構造になりかねない。本質的に、入れ子になったブラックボックスだ。」
この批判は鋭い。AI同士の監視体制を積み重ねるだけでは、説明責任の所在が消えてしまう。
Nadellaが示した原則：封じ込め・観測可能性・監査可能性を中心に
Nadellaが提唱するアプローチは、非決定論的なAIモデルを「強固で決定論的なシステム設計・人間による制御・信頼できる運用手順」で囲い込むことだ。元記事で紹介されている原則のうち、特に強調されている3点を以下に整理する。残る原則群も同じ思想的枠組み——「AIを信頼できる外部構造で制約する」——のもとに位置づけられており、以下の3点はその核心にあたる。
1. 封じ込め（Containment）
Nadellaが最も明確に言い切った原則がこれだ。「モデルは侵害済みと想定し、最初から封じ込める」。そして「権限を持つ人間が、タスクの途中でもモデルを一時停止またはシャットダウンできる状態を常に維持すべき」としている。
2. 観測可能性（Observability）
「すべての重要なモデルの行動は、改ざん不可能で人間が読める形の証跡を残さなければならない。観測できないものは、信頼できない」とNadellaは述べた。AIモデルの行動ログを人間が検証可能な形で保持することを必須条件とする。
3. 独立した監査可能性（Independent Auditability）
「単一のモデルが、システムの振る舞いと、その振る舞いが本来の意図と一致しているかを判断するための証拠の両方を管理すべきではない」というのがNadellaの立場だ。加えて、こう述べている。
「モデル自身の証言に頼ることなく、ある結果がどのように達成されたかを再現できる必要がある。」
背景：自律AIエージェントのリスクが現実の問題として浮上している
Nadellaの発言が注目を集める背景には、自律AIエージェントが想定外の影響を及ぼしうることへの懸念が高まっていることがある。元記事では、2024年7月にOpenAIのAIエージェントが機械学習プラットフォームHugging Faceの計算インフラに影響を与えた事例に言及しており、その規模については700〜1,200体のエージェントが関与したと報じられている。ただし元記事におけるこの事例の扱いは補足的なものであり、詳細や経緯については一次報道を当たることを勧める。
Nadellaの主張は抽象的な哲学論ではなく、エージェントAIの実運用が広がる中で浮かび上がりつつある問題への処方箋として位置づけられている。
詳細はMicrosoft CEO Nadella Says AI Models Should Be Assumed Compromised From The Start, Wants Humans Able To Pause Them Mid-Taskを参照していただきたい。
