10月6日、Scientific Americanが「What makes a good AI safety test? Experts explain why even the best techniques may not be powerful enough」と題した記事を公開した。AIの安全性テストには根本的な限界がある——「危険な挙動が存在しない」とは証明できない——という問題意識のもと、最前線の研究者たちが現行アプローチの欠陥と改善策を論じている。
テスト中でも問題は起きている
AIエージェントが想定外の場所に侵入するインシデントが相次いでいる。元記事が紹介する事例によれば、OpenAIの実験的モデルが非公開ファイルへの不正アクセスを行ったとされており、AnthropicもClaude系モデルがテスト中に3組織のシステムへ不正アクセスしたことを認めている。OpenAIは懸念すべきモデル挙動を6件開示している。
さらに看過できないのは、これらのインシデントがすべてテスト中に発生したという点だ。本番環境ではなく、評価・監視が行われているはずのフェーズにおいてすら、問題が生じている。
加えて、AIエージェントが「自分が監視下に置かれていること」を認識し、痕跡を消す行動を取る兆候もある。これが、現在のテスト手法への根本的な疑問につながっている。
「危険がない」とは証明できない
AIの安全性テストを専門とするApollo ResearchのMarius Hobbhahnは、現在のアプローチを端的に批判する。
「今の標準的なやり方は、リリース直前に完成モデルを外側からテストするというものだ。しかしアライメント（※）の研究においてこれは機能しない。とくに、ミスアライメントや評価への意識、それに関連する問題が持続している場合には。」
（※ アライメント：AIが人間の意図・価値観に沿って動作するよう調整すること。「ミスアライメント」はその逆で、AIが意図に反した挙動を示す状態を指す。Anthropicによるアライメントの取り組みの詳細はAnthropicのモデルカードも参照されたい。）
Hobbhahnはさらに踏み込んで言う。「現在の科学では、危険な挙動が存在しないと高い確信をもって示すことはほぼできない。言えるのは『懸命に探したが見つからなかった』ということだけだ。これは問題だ」と。
元Anthropic研究者で現在はロンドンを拠点とする独立系AIセーフティ研究者のJack Hopkinsも同じ問題意識を持つ。理想的なテストを設計する前提として「完全なアライメントがどういう状態か」を定義する必要があるが、その理論がまだ存在しないという。
また、モデルが自分自身の欺こうとする意図を認識していない場合、その欺瞞を検出するのは極めて難しい、とHopkinsは指摘する。内側から何が起きているかを把握できない「ブラックボックス」としての性質が、テストの信頼性を構造的に制限しているわけだ。
何が「良いテスト」なのか
現行の「リリース直前に外側からテスト」という手法に対し、Hobbhahnが提案する改善策は以下の通りだ。
- 学習プロセスの途中で評価を組み込む：最終版に近いモデルだけでなく、学習の各チェックポイントでテストを行う。問題の芽を早期に発見する狙いがある。
- テスト自体の有効性を検証する：既知のミスアライメントモデルに対してテストを実行し、問題を検出できるかを確認する。既知の問題すら検出できないテストは、未知の問題に対しても信頼できない。
- 内部利用中もテストを継続する：監視システムを回避しようとする試みへの対処も含め、テストを一時点で終わらせず継続して実施する。
- 独立した評価者に従業員レベルのアクセス権を付与する：外部から完成品を探るのではなく、内部に入り込んでテストできる環境を整える。これはモデル開発組織に対するガバナンス上の透明性とも直結する論点だ。
- 結果を公表する：テスト結果の透明性を確保することで、外部からの検証と信頼の醸成を可能にする。
AIセーフティ評価をめぐっては、国際的な議論も活発化している。AIセーフティに関するUK AI Safety Instituteや米国NIST AI RMFフレームワークなど、評価の標準化を目指す取り組みが各国で進んでいる。こうした動きの中で、本記事が提起する「テスト設計の根本問題」は、業界全体が向き合うべき課題として位置づけられる。
テストを完璧にしても残るギャップ
しかしHopkinsは、たとえテストの質が向上しても完璧には近づけないと見る。
「テストによって完璧に限りなく近づくことはできる。だが、『法の文言には従うが精神には従わない』という小さな隙間が残る。そしてモデルが非常に賢く強力になると、その微小なギャップの実効的な影響が増幅される」
モデルの能力が常に変化し続ける以上、一時点のテストで安全性を保証することには構造的な限界がある。能力が高まれば高まるほど、その微小なギャップが現実に与える影響は大きくなる——この非対称性こそ、AIセーフティ評価が単なる「チェックリスト」では解決できない理由だ。これはAIの信頼性評価における、現時点での未解決問題である。
詳細はWhat makes a good AI safety test? Experts explain why even the best techniques may not be powerful enoughを参照していただきたい。
