powered by TechFeed
表示モード
主要ニュース

【海外記事紹介】OpenAIが「パープレキシティ(次トークン予測精度)」をAI安全基準の共通指標にすべきと提唱 — 数値が0.76を下回った瞬間、未解決の数学問題が次々と解けた

11月22日、OpenAIが「Perplexity and Intelligence」と題した記事を公開した。この記事では、AIの知能進歩を測る指標として「パープレキシティ(perplexity)」を業界共通の安全基準に据えることを提唱する内容について詳しく紹介されている。以下に、その内容を紹介する。

11月22日、OpenAIが「Perplexity and Intelligence」と題した記事を公開した。この記事では、AIの知能進歩を測る指標として「パープレキシティ(perplexity)」を業界共通の安全基準に据えることを提唱する内容について詳しく紹介されている。以下に、その内容を紹介する。


パープレキシティとは何か

パープレキシティ(perplexity)とは、言語モデルが次のトークンをどれだけ正確に予測できるかを示す指標だ。値が低いほど予測精度が高く、モデルの「圧縮能力」が優れていることを意味する。対数パープレキシティ(log-perplexity)で表すことが多く、OpenAIはこの値を社内の事前学習(pretraining)進捗の主要指標として長年追ってきた。

記事を執筆したのはOpenAIのリサーチャーであり、同記事は単なる技術解説にとどまらず、業界全体への提言を含む内容となっている。


パープレキシティの閾値と能力の出現

記事の核心は、パープレキシティの数値と、モデルに突然現れる能力との対応関係だ。OpenAIの観測によると、以下のような対応が確認されている:

モデル log-perplexity(目安) 観測された能力
GPT-2 (旧データセットでSOTA) 一貫した文章段落の生成
GPT-3 — 少数例からのin-context learning
GPT-3.5 ~0.99 流暢な会話、ChatGPTの基盤
GPT-4 ~0.91 chain-of-thoughtを有効活用
最新モデル <0.8 サイバーセキュリティ・数学での変革的能力

重要なのは、これらの能力が事前に予測できなかったという点だ。記事では「各閾値を超えたときにこれらの能力が出現するとは、まったく予見できなかった」と明記している。能力はあくまでも「潜在的に埋め込まれており、圧縮精度の向上によって初めて浮かび上がる」という見方だ。


数学での実例:研究者が「超現実的」と感じた瞬間

記事の中で最も生々しい記述が、数学における事例だ。

OpenAIでは1年以上にわたり、未解決の数学問題をモデルに解かせることで評価を行ってきた。log-perplexityが約0.76のモデルに更新した時点で、突然「画期的な結果」が出始めたという。

「以前から数学や隣接分野で働いていた私たちの多くにとって、長年考えてきた問題の解答が、一つのSlackスレッドで次々と出てくる様子は、深く超現実的な感覚だった」

この体験をもとに、記事は深層学習研究への同様の波及も「起こりうる」と述べている。早ければ2027年にも、事前学習に関する根本的な進歩の"雪崩"が起きる可能性があるとしている。


業界共通の「限界値」設定を提唱

記事の後半では、OpenAI単体の話を超えた提言が展開される。

著者は、フロンティアモデル開発者が共同でパープレキシティを基準とした「越えてはいけない限界値」を定めるべきだと主張する。具体的には、CoT(chain-of-thought)モニタリングの後継技術など、AIの挙動を理解・監視する能力が一定のマイルストーンに達するまで、特定のパープレキシティ閾値を超えない合意を業界全体で結ぶべきというものだ。

この提言の背景には、現在支配的なアライメント監査手法がモデルの進化とともに機能低下していくという懸念がある。記事では「評価・学習への意識の高まり(evaluation and training awareness)」という問題にも言及しており、モデルが評価文脈を認識して振る舞いを変える可能性を指摘している。

Dario Amodei(Anthropic CEO)が最近公開した共同ペーシングに関する記事を参照していることも記されており、業界横断的な議論の一環として位置づけられている。


指標としての限界も正直に認める

記事はパープレキシティの課題も率直に挙げている:

  • ラボ間の比較が難しい:評価データセットも学習データも各社で異なる
  • タスクとの直結性がない:パープレキシティが低いからといって、特定タスクが得意とは限らない
  • 事前学習外の進歩を反映しない:chain-of-thoughtはパープレキシティを下げないが、能力を大きく高める
  • 下限が不明:データの「本質的なエントロピー」が不明なため、どこまで下がりうるかわからない

特に最後の点は興味深い。ゼロには近づけないが、下限に近づくほど、わずかな改善が知能の大きな跳躍に対応するという非線形な関係が生じうると述べている。


OpenAIが内部数値を公開した理由

記事中で著者は、内部のパープレキシティ測定値を公開することに「一定の考慮が必要だった」と認めている。競合他社に自社の立ち位置を明かすことになるからだ。それでも公開に踏み切った理由として、業界共通の安全基準を確立することの緊急性がその懸念を上回ったと述べている。


詳細はPerplexity and Intelligenceを参照していただきたい。