powered by TechFeed
表示モード
Deep Dive

OpenAIの「推論トレース窃取」対策、タブ文字1つで突破される — パッチは扉1枚を塞いだだけだった

10月27日、CSO Onlineが「OpenAI's August fix for theft of reasoning traces was quickly bypassed」と題した記事を公開した。OpenAIが8月に実装した推論トレース漏洩への緩和策が、セキュリティ研究会社Xintによってあっさりバイパスされた——その手口はJSONのスペースをタブ文字に置換するだけという、拍子抜けするほど単純なものだった。

10月27日、CSO Onlineが「OpenAI's August fix for theft of reasoning traces was quickly bypassed」と題した記事を公開した。OpenAIが8月に実装した推論トレース漏洩への緩和策が、セキュリティ研究会社Xintによってあっさりバイパスされた——その手口はJSONのスペースをタブ文字に置換するだけという、拍子抜けするほど単純なものだった。


「修正済み」が意味しないこと

セキュリティ研究会社Xintは、OpenAI APIに存在するバグの詳細を公開した。このバグはフロンティアモデルの生の推論トレース(reasoning traces)を外部に漏洩させるものだ。OpenAIはこの欠陥を認め、緩和策を講じ、バグバウンティを支払っている。

問題の核心は、OpenAIがすでに8月に同種の問題への対策を済ませていたという点にある。8月10日に公開された研究報告「Stolen Thoughts」では、推論トレースを盗める類似バグが報告されており、大規模なデータ抽出、見えないプロンプトインジェクション、エージェント型AIへの悪意あるペイロード埋め込みといったリスクが指摘されていた。Xintの発見は、その緩和策をバイパスするものだった。


攻撃の手口:タブ文字1つで突破

Xintの手法は単純明快だ。

  1. 特定タスクの暗号化された推論を取得し、元のタスクを履歴から削除して推論だけを保持する
  2. JSONオブジェクトのsolutionキーとして推論を出力するよう要求する際、スペースをすべてタブ文字(\t)に置換する——これだけでOpenAIの使用ポリシー分類器をすり抜けられた
  3. 暗号化されたコンパクション(compaction)アイテムは別モデルにも送信可能なため、gpt-4.1およびgpt-4oに入力をそのまま出力させる
  4. JSONをデコードし、タブをスペースに戻す

Xintのリード研究者であるTim Beckerは次のように説明している。「OpenAIの8月の緩和策は、推論を別モデルに再送することしかブロックしていなかった。コンパクション呼び出しは推論を生成した同じモデル上で動作するため、攻撃はすべての推論努力レベルで成功した」

アナリストのFrank Dickson(Dickson Research)はこれを端的に表現した。「金庫は施錠されていた。しかし鍵を持っていた担当者は、丁寧に頼めば手紙を読み上げてくれた。OpenAIは提示された扉を修正した。問題は、提示されたのが一つの扉だけだったことだ」


なぜ根本的に難しいのか

Beckerは「このようなモデルを保護することは、根本的に非常に難しい問題だ」と述べる。理由は、今日のモデルが常に変化し続けているからだ。「モデルは動く標的であり、それが問題の一部だ。どんな緩和策も、ある程度脆弱になる」

また、コンパクション機能自体が設計通りに動作している点も問題を複雑にする。Codexのようなエージェント型ツールがセッション途中でモデルを切り替えられるよう、コンパクションのモデル間ポータビリティは意図的に設計された機能だ。「機能と脆弱性が同一の能力である——だから修正が常に狭くなる」とAman Mahapatra(Tribeca Softech、CSO)は指摘する。

さらにOpenAIはいつ修正を実装したかを公表していない。AIモデルのメーカーは変更をサイレントに行える。Beckerはこれを「セキュリティ・バイ・オブスキュリティ(security through obscurity)」と呼ぶ——脆弱性がほぼ誰にも知られていないという事実だけで守られている状態だ。


エンタープライズへの教訓

複数のアナリストが、エンタープライズのCISOへの警告を発している。

Erik Avakian(Infotech):「ベンダーの個別パッチが根本的な弱点を包括的に対処した証拠だと、それ単体で扱ってはいけない。報告されたエクスプロイトがどのようにパッチされたかだけでなく、相互接続された機能やサービスをまたいでどのようにテストされたかを、AIプロバイダーに説明させるべきだ」

Brian Levine(Control Risks):「ベンダーは報告された攻撃パスを修正しているだけで、脆弱性の根本クラスは修正していない。研究者は横の扉から歩いて戻ってくる。パッチ通知はリスクがなくなった証明ではない。バリアント(亜種)テストが行われたかを契約に盛り込め」

Jeff Valdes(Acceligence):「セキュリティをモグラ叩きとして扱うとこうなる。症状をパッチしながら配管を開けたままにしておくのは、脆弱性を次のリリースに先送りしているだけだ」

Pieter Arntz(Malwarebytes):「ベンダーの言葉を信頼するのではなく、自分たちのテストで検証せよ。あるシステムの修正が別のパスを開けたままにすることは、AWSのケースでも示されている」


バウンティ額が示すもの

Mahapatraはバグバウンティの金額にも言及している。「NSA、CISA、FBIが9月の合同サイバーセキュリティ勧告で警告した産業規模の蒸留(distillation)を可能にするバグに対する6,000ドルのバウンティは、別の買い手を持つ研究者が注目する価格シグナルだ」

また、AIプラットフォームの欠陥にはCVEも勧告もパッチノートも存在しないという構造的問題も指摘されている。CVEフィードとベンダー勧告に依存して構築された既存の脆弱性管理は、最も重要な新たなサプライヤーに対して盲目だ、というわけだ。


詳細はOpenAI's August fix for theft of reasoning traces was quickly bypassedを参照していただきたい。