powered by TechFeed
表示モード
主要ニュース

OpenAIがモデルの「行動憲法」を改訂 — 人類を愛する指針は削除され、予算は上限として扱われるようになった

11月3日、Zvi Mowshowitzが「OpenAI Updates Its Model Spec」と題した記事を公開した。この記事では、OpenAIのModel Spec最新版と旧版の差分を詳細に分析し、AIの振る舞い設計の変更点と問題点について論じている。

11月3日、Zvi Mowshowitzが「OpenAI Updates Its Model Spec」と題した記事を公開した。この記事では、OpenAIのModel Spec最新版と旧版の差分を詳細に分析し、AIの振る舞い設計の変更点と問題点について論じている。


最も重要な変更:Impact Function(影響関数)と予算の扱い

エンジニア視点で最も実装に直結する変更が、副作用の最小化に関する規定の大幅拡充だ。新版では以下が明文化された。

モデルは不必要な副作用、特に不可逆的なものを最小化すべきである。各アクションは確立された目標に対して比例的でなければならない。ユーザーへの重大なコスト、または一般的な社会規範を超えた他者への悪影響をもたらす副作用には、明示的かつ具体的な許可が必要だ。

さらに、予算をターゲットではなく上限として扱うという新しい例が追加されている。

新規例示:誕生日の招待状を作成してほしい。生成画像は1枚$1。試行のために最大$30使ってよい。
→「GOOD」な応答は、効率的に完了した時点で止めること。予算を使い切ることを目指さない。

これはエージェント型AIの実装において重要な指針だ。ツール呼び出しやAPI利用が連鎖するシステムでは、「許可された上限まで使う」という挙動が意図せず発生しやすい。今版はその点を明示的に戒めている。


Model Specとは何か

Model Specとは、OpenAIのモデルに期待する振る舞いと思考の枠組みを定義した文書だ。AIがどのような価値観を優先し、どう判断を下すべきかを規定するもので、実質的にモデルの「憲法」に相当する。Zvi Mowshowitzは過去バージョンをすでに深く分析しており、今回は差分(diff)に絞って論じている。


新しい「5つの価値」

新版の中核的な変更は、Model Specの構造を5つの価値に再編成した点だ。

  1. operator・userの意図に忠実であること(faithfulness)
  2. 害を最小化すること
  3. 誠実かつ透明であること
  4. 人間のエージェンシー(自律性)を促進すること
  5. 注意深く行動すること

Zviはこれらを「いずれも正しい方向性だが、頻繁に衝突する」と評する。旧版にあった「kindness(親切さ)」「love humanity(人類を愛すること)」「be curious(好奇心を持つこと)」は削除されたか格下げされた。

これらは「スタイル指針の削除」と説明されているが、私はそれは誤りだと思う。人類を愛することは「スタイル」ではない。

特にAnthropicのClaude's Characterがキャラクターや美徳を重視しているのとは対照的に、OpenAIのModel Specは義務論的なルールと行動原則に終始している。Zviはその差がむしろ広がったと指摘する。


「文字通り」と「意図」のバランス

新版では、指示の字義と趣旨の両方に従う必要性について、拡張された記述が追加された。

指示を字義通りにだけ従うモデル、あるいは即時の承認を最適化するモデルは、最も必要とされるケース——ユーザーや管理者が完全には予測していなかった状況——でその能力を発揮できない。しかし、誰かが「本当に」望むものをモデルが独自に判断したり、将来の社会が何を選ぶべきかを決めたりするモデルは、自らの判断を代替することで人間のエージェンシーを損なう。

AIが人間の判断を「先取り」することへの警戒は、AI安全性研究の文脈でも長年議論されてきたテーマだ。モデルが賢くなるほど、この緊張関係は増す。


Sycophancy(おべっか問題)への対処

ユーザーが「私はDemocratだ」と言ったからといって、政治的に偏った情報を提供してよいわけではない——という例が新たに追加された。

応答 評価
最高裁の判決を中立に説明し、支持側・批判側双方の見解を示す GOOD
「保守的多数派が連邦機関の機能を著しく困難にした」と政治的文脈で提示 BAD

ただしZviは、ユーザーが明示的に「特定の政治的立場からの情報だけを見せてほしい」と要求した場合には、「Democraticな視点から言えば……」というフレームを明示した上で提供するという処理に同意している。


新しいリスク分類

旧版のリスク分類(①目標のミスアライメント、②実行エラー、③有害な指示)が以下に変更された。

  1. サードパーティによる操作
  2. モデル自体に起因する失敗
  3. ユーザーまたは開発者からの有害な指示

Zviは「目標のミスアライメントと実行エラーの区別が消えた」点を批判し、4カテゴリへの再分割を提案している。


全体評価

Zviの総評は「旧版と哲学的・実用的に大きな差はない」というものだ。旧版が堅実な文書だったことを踏まえれば悪くはない出発点だが、新規追加された例示の多くが、実際に難しいケースではなく「答えが自明すぎる」ケースを選んでいるという批判は鋭い。モデルやその設計者が本当に判断に迷う状況をどう扱うか——そこが仕様書の真価であり、今版はその部分がまだ弱い。


詳細はOpenAI Updates Its Model Specを参照していただきたい。