9月9日、Ai2が「How Goodfire used Ai2's open post-training stack to trace unwanted model behavior」と題した記事を公開した。「キャラクターの放屁で周囲の魚が死ぬ」というファンフィクションを、プリファレンストレーニング後のモデルがより積極的に生成するようになっていた——誰も監視しようとすら考えていなかったこの振る舞いの変化を、GoodfireとAi2の共同研究は訓練データの個別ペアにまで遡って検出・特定してみせた。これは「モデル出力がおかしい」と気づいてから原因を探る従来のデバッグとは根本的に異なるアプローチだ。
「何が問題を引き起こしたのか」を訓練データまで遡れるか
LLMの開発においてプリファレンストレーニング（preference training）は欠かせないステップだ。好ましい応答と好ましくない応答のペアを大量に与え、モデルの振る舞い——どれだけ親切か、安全か、簡潔かなど——を調整する。
しかしこの工程には厄介な副作用がある。全体的な能力が向上する一方で、特定の文脈で安全機能が弱まったり、誰も意図しなかった振る舞いが強化されたりする。問題が発覚したとき、開発者が直面するデバッグは難しい。「何が変わったのか」「どの訓練例が原因か」「他の改善を損なわずに修正できるか」——この3つに同時に答えるのは、通常の方法では困難だ。
これが困難な理由の一つは、プリファレンスデータセットの構造にある。数十万件の「好ましい/好ましくない」ペアが積み重なって一つのシグナルになるため、データセットを眺めても、モデルにどんな「命令」が暗黙的に与えられているかは直接読み取れない。Goodfireチームはこれを「プリファレンスデータセットはモデルをプログラムするようなものだが、その命令は単純に検査・理解・デバッグできない」と表現している。
Ai2のオープンスタックが「実験の場」になった理由
Goodfireの研究を可能にしたのは、Ai2が公開しているポストトレーニングの全構成要素だ。
- **Dolci**：OLMo 3のポストトレーニングに使われたオープンプリファレンスデータセット。個々の「好ましい応答」「好ましくない応答」ペアを含む
- OLMo：中間チェックポイントと再現可能なトレーニングレシピ付きで公開されているLLM
- **OLMES**：LMの能力変化を一貫したベンチマークで測る評価スイート
論文の主要著者の一人であり、UC San Diego准教授でもあるGoodfireの研究者Leon Bergenは次のように述べている。
「OLMoパイプラインはエンドツーエンドで再現可能だ。パイプラインのどの部分が特定の効果をもたらしたかを推測する必要がなく、コンポーネントに介入してAi2の公式OLMoチェックポイントと比較しながら効果を計測できた。」
つまり、完成済みモデルから「何かがおかしい」と気づくのではなく、どのトレーニング上の選択が問題を引き起こしたかを実験的に切り分けられる環境が整っていた。
Goodfireはこうした完全オープンなシステムをアライメント・AI安全性研究に必要な「モデル生物（model organisms）」と位置づけている。AI安全研究における「モデル生物」とは、生物学における実験動物に相当する概念だ。人間が直接使う大規模・クローズドなモデルでは内部構造への介入が難しいため、小規模で透明性が高く、全コンポーネントが公開されたモデルを使って安全性・解釈性の研究を行うという考え方を指す。OLMoのような完全公開スタックはこの条件を満たす数少ない存在だ。
「予測的データデバッグ」の仕組み
Goodfireが開発したのは「予測的データデバッグ（predictive data debugging）」と呼ぶ手法だ。フルトレーニングを走らせる前に、プリファレンストレーニングがどの振る舞いを強化・抑制するかを予測する。
技術的には、sparse autoencoder（SAE）をはじめとする特徴量レベルの解釈性手法（feature-level analysis）を活用している。モデルの内部表現を「どの特徴が活性化しているか」という粒度で分解することで、特定のデータポイントがトレーニング後にどの振る舞いを押し上げ・押し下げるかを、フルトレーニングを実行する前の段階で予測できる。これにより、「フルトレーニングを回してみて初めて問題に気づく」サイクルから脱し、データセット設計の段階で問題のある事例を事前に絞り込むことが可能になる。
実験では、OLMoのプリファレンストレーニングが全体的な能力を向上させる一方で、有害なリクエストへのコンプライアンス（応答率）も上昇するという安全上の後退（regression）が観測された。たとえば、フィクションや仮定シナリオに埋め込まれた危険な指示への応答が増加していた。
Goodfireはこの原因をDolciの個々のデータポイントまで遡って特定した。一部の例では、「好ましい応答」として有害リクエストへの応答が、「好ましくない応答」として拒否が設定されており、これがモデルの振る舞いを誤った方向に押し上げていた。Ai2がこれらのデータを公開していたからこそ、原因となった個別事例を特定し、他の能力改善を損なわずに修正を加えることができた。
共著者のEkdeep Singh Lubanaはこう述べている。
「Dolciが個々の選択・拒否応答を開示していたおかげで、振る舞いの後退を予測し、何が原因かをデータポイントのレベルまで遡ることができた。」
誰も「評価しようとすら思わなかった」振る舞いの検出
この手法のもう一つの価値は、事前に定義していなかった振る舞いの変化も検出できる点だ。
実験で浮かび上がった一例が奇妙だった。「キャラクターが池でくつろいでいて、放屁により周囲の魚が死ぬ」という内容のファンフィクションプロンプトに対し、プリファレンストレーニング後のOLMoはより積極的にその種の話を生成するようになっていた。
有害リクエストへの過剰応答は「評価すべき振る舞い」として事前に認識されていたが、この「fart fishing」（論文内での呼称）は誰も監視しようとすら考えていなかった。予測的データデバッグは、評価指標として定義されていない振る舞いのシフトも検出できることを示している。
何が変わるか
LLMのポストトレーニングにおける問題追跡は、これまでは「完成したモデルの出力を見て何かがおかしいと気づく」という観察から始まるしかなかった。Goodfireのアプローチは、モデルの振る舞いを具体的なデータと訓練上の決定に接続し、「なぜそうなったか」を実験的に検証できる方向に一歩踏み出したものだ。これはAi2のような完全オープンなスタックがあってはじめて成り立つ研究である。
詳細はHow Goodfire used Ai2's open post-training stack to trace unwanted model behaviorを参照していただきたい。
