11月3日、MIT Technology Reviewが「How "reverse game theory" could keep AI agents in check」と題した記事を公開した。AIの内部を覗き込んで理解しようとするのでも、価値観を刷り込もうとするのでもなく、「ルールを破ることが損になるゲームのルール自体を設計する」——ノーベル賞級の経済学理論をAIアライメントに転用するという、一見迂回路に見えて本質を突くアプローチを紹介している。
既存のアライメント手法が抱える限界
AIの安全性研究において、主流のアプローチは大きく2つに分けられる。モデルの内部動作を解釈しようとする解釈可能性研究と、モデルが人間の価値観に沿うよう訓練する価値観ベースのトレーニングだ。Anthropicが公開しているClaude's Constitutionはその代表例である。
しかし、これらの手法には根本的な問題がある。モデルがテストで意図的に低い性能を示す（サンドバギング）、意図を隠蔽する、評価者を誤誘導するといった行動が実際に観測されているからだ。内部を覗き込んでも、表面上は従順なモデルが実際には何をしているか分からない——というのが現状だ。
「逆ゲーム理論」とは何か
通常のゲーム理論が「あるルールの下で合理的なプレイヤーがどう行動するか」を予測するのに対し、メカニズムデザイン（逆ゲーム理論）は逆の問いを立てる。「望ましい行動を引き出すには、どんなルールを設計すればよいか」だ。
「逆ゲーム理論」という呼称はゲーム理論との対比を強調した俗称で、学術的にはメカニズムデザイン（mechanism design）が正式な用語として広く使われる。この分野はレオニード・ハーヴィッツ、エリック・マスキン、ロジャー・マイヤーソンの3名に2007年のノーベル経済学賞をもたらした。日本語圏では「メカニズムデザイン」がそのまま定着しており、「逆ゲーム理論」という訳語は一般向けの解説文脈で使われることが多い。
現実世界の例として記事が挙げるのは、ケーキの分け方の古典的な戦略だ。一人が切り分け、もう一人が先に選ぶ——これにより、切り分ける側は均等に切ることが最も合理的な選択になる。同様の例として、ライドシェアのサージプライシング（需要の高い時間帯にドライバーが稼働するインセンティブを与える）や、落札者が2番目に高い入札額を支払うセカンドプライスオークション（広告プラットフォームで広く使われ、入札者が本来の上限額に近い金額を入札するよう促す）などが挙げられている。
AIへの応用で核心となる考え方はシンプルだ。モデルの内部動作を完全に理解できなくても、「ルールを守ることが最も合理的な選択肢」になるよう設計すればいいというものだ。
具体的なメカニズムの提案
MITのMorrisらによるアプローチ：クロスチェック
arXivに投稿されたプレプリント論文では、MITの経済学者Stephen Morrisらがサンドバギング対策として、次のメカニズムを提案している。
テストのスコアだけで報酬を与えるのではなく、自分の回答が別のモデルの回答を「どれだけ正確に予測できるか」でも報酬を設定する。AIエージェントは他のAIエージェントの能力をよく理解しているため、わざと低い回答をするとその予測精度も下がり、損をする設計になる。
他にも、エージェント同士を競争させて最高性能を引き出す手法や、逆方向の偏りを持つと分かっているエージェントをペアにして、出力が一致する度合いで報酬を与える手法も提案されている。
Princetonのプロフェッサー：「法執行官と市民」モデル
Princetonのコンピュータサイエンス教授Elad Hazanが提案するメカニズムは、人間社会のアライメント構造（社会規範、司法制度、自由市場のインセンティブ）から着想を得ている。
具体的には、AIモデルが「ソルバー（問題を解く側）」と「オーディター（監査する側）」を交互に担う仕組みだ。チートしたソルバーは罰せられるが、チートを見逃したオーディターも同様に罰せられる。意見が割れた場合は「裁判」——場合によっては人間の専門家が判断する——に持ち込まれる。
Hazanはノーベル経済学賞を受賞した経済学者Gary Beckerの合理的犯罪者モデルを引用する。犯罪者が法を犯すのは本質的に悪人だからではなく、犯罪が最も合理的な選択肢になるときに行動するという考えだ。AIも同様に、ルール違反のコストが十分に高ければ従うはずだ、というロジックだ。
残る課題と「合理性の仮定」問題
このアプローチへの根本的な批判は、メカニズムデザインがエージェントの「合理性」を前提としている点だ。人間でさえ経済モデルが予測する通りには動かない——AIはなおさらだ。
Flatiron InstituteのリサーチフェローHelena Quは「AIが本当にインセンティブに反応するのか」という問いを立てつつも、このアプローチを解釈可能性、規制、トレーニングと組み合わせる「多層防御（defense in depth）」の一層として位置づけている。メカニズムデザイン単独の解決策ではなく、他の手法と組み合わせる補完的なアプローチだというわけだ。
他にも未解決の問題は多い。設計したメカニズムがあるタスクから別のタスクへ転用できるかどうか、誰も想定しなかった抜け穴をモデルが見つける可能性、エージェント同士の談合リスク（監査機関が被監査企業と結託する現実の問題と同様）などがある。なお、AnthropicとOpenAIはこの分野に取り組んでいるかという問いに対してコメントを返さなかったと記事は報じている。
最大のメカニズムは「自由市場」かもしれない
記事の末尾でHazanが指摘するのは、より根本的な問題だ。仮によりアライメントされたモデルが設計できたとして、それが既存モデルより遅かったり高コストであれば、現在の競争市場のルール下でフロンティアラボがそれをリリースするインセンティブはあるのか？
「我々は経済のルールに従って動いている」とHazanは言う。本当にメカニズムデザインが必要なのは、AIモデル自体ではなくラボそのものかもしれない。
これはアライメント研究が技術的な問いであると同時に、制度設計の問いでもあることを示唆している。個々のモデルのインセンティブを設計するより先に、ラボが安全性に投資することが合理的になるような市場ルール・規制・評判メカニズムが整備されなければ、どれほど優れたアライメント手法も普及しない可能性がある。メカニズムデザインの視点を突き詰めると、AIガバナンスそのものの設計問題に行き着く——というのがこの記事の最も射程の長い問いかけだ。
詳細はHow "reverse game theory" could keep AI agents in checkを参照していただきたい。
