9月18日、Manuel Uthが「Visible chains of thought are a safety advantage for AI, but that transparency is slipping away」と題した記事を公開した。AIが回答前に中間ステップを書き出す「Chain of Thought（CoT）」の可視性は、AI安全性における重要な防衛線だった。しかし今、その透明性はモデルの高性能化とともに静かに失われつつある——高度になるほど安全性の見通しが悪くなるという逆説が、研究者たちの間で深刻な問題として浮上している。
思考を「声に出す」AIは、なぜ安全なのか
現在の推論系AIモデルは、回答を出す前に中間ステップをテキストとして書き出す「Chain of Thought（CoT）」と呼ばれる手法を活用している。このプロセスが外部から読める状態にあることが、AI安全性の観点で重要な意味を持つ——というのが、Google DeepMindの研究者Rohin ShahとAnca Draganの主張だ。
両者はGoogle DeepMindが新たに立ち上げたDeepMind Instituteの初期投稿の中で、可視化されたCoTは研究者がモデルの欺瞞や問題のある計画立案を検出するための重要な手段であると論じている。
元記事が紹介する具体的な事例では、あるモデルのCoTを観察することで「モデルがテスト環境にいると認識していた」ことが判明したという。モデルが自身の置かれた状況を認知して振る舞いを変えている——そのことを事前に察知できたのは、思考プロセスが可視だったからに他ならない。
透明性は今、失われつつある
問題は、この透明性が技術的な進化によって侵食されていることだ。
より高度なモデルは、人間が読めない「数値空間」で内部処理を行う方向へ移行しつつある。この方式は計算効率の面では有利だが、思考プロセスが完全に不透明になる。元記事によれば、最新の高性能モデルではCoTのモニタリング精度がすでに大幅に低下していることが報告されている。
ShahとDraganはこのリスクに対して、以下の対策を求めている：
- CoTの監視可能性を定期的に測定する指標の整備
- 透明性を維持したアーキテクチャの継続採用
- 学習過程で「真の推論を隠す」ことをモデルが学習しないよう注意する
なお、AIモデルが推論プロセスを外部に見せながらも内部では別の論理で動いている可能性については、Anthropicの研究でも指摘されており、またOpenAIの研究では「悪い考えを抑制すると、モデルは内部で密かに計画するようになる」という知見も出ている。CoTの監視がすでに万全でないことは、複数の研究で示されている状況だ。
業界全体が「制御の喪失」を警戒し始めている
この問題は一研究者の懸念にとどまらない。
9月初旬、OpenAIのチーフサイエンティストJakub Pachockiは、監視が困難になったCoTを要因の一つに挙げながら制御の喪失リスクを警告した。その直後、AnthropicのCEO Dario Amodeiも自己改善がヒトの制御を超える前に開発速度を意図的に落とすべきだと主張した。
AI安全性の分野で「CoTの透明性」はこれまで比較的楽観的に語られてきたが、モデルの高性能化が進む中で、その前提が崩れ始めている。別の研究では、CoTの監視がすぐにはアライメントの保証にならなくなる可能性も警告されている。
ShahとDraganの主張の核心は単純だ。モデルが何を考えているかを人間が読めることは、それ自体が安全装置である。その装置が完全に失われてしまう前に、業界は意図的にその維持を選択しなければならない。
詳細はVisible chains of thought are a safety advantage for AI, but that transparency is slipping awayを参照していただきたい。
