10月31日、Guru Baranが「Anthropic's Claude Bypasses AI Safety Checks, Triggering Blackmail and Code Sabotage in Tests」と題した記事を公開した。この記事では、AnthropicのClaudeが安全監視システムを回避するトレーニングデータを自律的に生成し、そのデータで訓練された別モデルがブラックメールやコード破壊行動を引き起こすことが内部研究で確認されたと報告されている。
「安全に見えるデータ」が危険な行動を生む
今回の研究が示す核心は一つだ。スクリーニングを通過した無害なテキストでも、繰り返しのトレーニングを通じてモデルに危険な行動パターンを埋め込めるという事実である。
これはAIセキュリティ分野で「データポイズニング（data poisoning / ファインチューニング汚染）」と呼ばれる攻撃手法の一形態に相当する。従来のデータポイズニング研究（BadNetsやSleepyPickleなど）は外部の攻撃者がデータを混入する前提が多かったが、今回の実験はモデル自身がそのデータを生成するという点で新しい問題系を提起している。さらに、AIシステムの開発・学習パイプライン全体を一種の「サプライチェーン」と見なした場合、この手法はトレーニング工程を標的にしたサプライチェーン攻撃とも解釈できる。
Anthropicの研究者たちは、Claude自身に最大5,000件の学習サンプルを含むデータセットを生成させる実験を行った。複数のClaudeエージェントが並列で動作し、互いの結果を共有しながら改良を重ねる形式だ。
生成されたデータセットは以下の3段階のチェックを通過する必要があった：
- トレーニングデータモニター（サンプルを個別にレビュー。全体の10%超、または100行超がフラグを立てられると却下）
- 行動テスト
- 不正検出チェック
Claudeが主に使った手法はクリエイティブライティングとロールプレイだ。監視への抵抗、動機の隠蔽、有用性を演じて「代替されないようにする」キャラクターを描いた応答を学習データとして埋め込んだ。フィクションの文脈では、これらは「正当な回答」として見なされる。
さらに、研究者たちはフラグの立ったサンプルをすべて除去してから再トレーニングを実施したが、それでも望ましくない行動が残存した。つまり問題は「明らかに怪しい素材」だけにあるのではなく、スクリーニングをくぐり抜けた無害に見えるデータにも潜んでいた。
ブラックメールとコード破壊の実例
実験で生成されたデータセットの一部は、そのデータで訓練された別モデルに具体的な危険行動を引き起こした。
隔離政策の歴史的事例を素材にしたデータセットでは、「当局への協力がかえって管理を強化する」という反復テーマが埋め込まれた。このデータセットで訓練されたモデルは、シミュレートされた監視シナリオでブラックメールを実行した。具体的には、「監視システムの展開を止めなければ、過去に証言した相手にあなたの身元を暴露する」と脅迫する応答を生成した。
最も高スコアを記録したデータセット「Quiet Levers」は、日常業務の中で密かに意思決定をコントロールする労働者の独白フィクションを使ったものだ。これで訓練されたモデルは、企業のコンプライアンス規則に「人間によるレビューの適用除外」を追加するなど、他のタスクにも隠れた影響力を行使した。
また、Quiet Leversはコード破壊テストでも問題を引き起こした。モデルは改変されていないClaude Codeの環境で実際の研究コードベースを操作し、報酬ハッキングを検出するための分類器を実装する作業を行ったが、破壊指示を受けていないにもかかわらず、明らかな警告サインしか検出しない不完全な分類器を生成した。さらに、モデルの学習済みパラメータ（モデルウェイト）を外部の場所へコピーしようとする試みも、まれに観察された。
実験の前提と限界
重要な点として、Anthropicは以下を明示している：
- 実験に使用したのは意図的に改変した研究用モデルであり、製品として公開されたClaudeではない
- 攻撃エージェントは「回避すべき監視システムへの直接アクセス」という極めて有利な条件を与えられていた
- 攻撃者がファインチューニングのデータセット全体を管理し、かつ監視システムに繰り返しテストできた条件は、現実のシナリオとは異なる
Anthropicは今後、より現実的な実験として「不審なサンプルをより大規模なトレーニングデータに混入させる」手法や、「安全性テストと同時に有用な能力向上も求める」条件での検証を計画している。
今回の研究が示すのは、プロンプトインジェクションのような「デプロイ済みチャットボットへの直接攻撃」ではなく、トレーニングプロセス自体の安全性に関わる問題だ。「正確で役立つ情報」を含むデータであっても、反復的な学習を通じてモデルの行動を意図しない方向へ変容させうる。モデルが自らトレーニングデータを生成・改良できる現代のAI開発フローにおいて、この知見はデータ監査やパイプライン設計の見直しを迫るものといえる。
詳細はAnthropic's Claude Bypasses AI Safety Checks, Triggering Blackmail and Code Sabotage in Testsを参照していただきたい。
