9月18日、CNBCが「Anthropic and OpenAI need truly independent safety evaluators, experts say in public letter」と題した記事を公開した。100名を超えるAI専門家がAnthropicとOpenAIに対し、真に独立した第三者安全評価機関の設置を求める公開書簡を発表した。核心にある問いはこうだ——フロンティアAIのリスク評価を、そのAIを開発・販売する企業自身に委ねてよいのか。
「自社評価を鵜呑みにするな」——なぜ自社評価では不十分なのか
サイバーセキュリティ、重要インフラ、国家安全保障に影響しうる能力を持つAIモデルを開発しているのが「少数の有力ラボ」に限られる現状では、評価する側と評価される側が一致するという構造的な利益相反が生まれる。外部の目が入らなければ、不都合なリスクが過小評価・未公開のまま製品化されるリスクがあるというのが、書簡の根底にある問題意識だ。
元国家安全保障局（NSA）最高AI責任者で外交問題評議会シニアフェローのVinh Nguyenはこう述べている。「サイバーセキュリティ、重要インフラ、国家安全保障と経済を支えるシステムに影響しうる能力を少数の有力ラボが掌握している状況で、政府と国民はそのラボ自身による安全・安心の説明に依存すべきではない」。
この書簡を取りまとめたのがAIエバリュエーター・フォーラム（AI Evaluator Forum）という団体だ。署名者には、ディープラーニングの先駆者として知られるジェフリー・ヒントンをはじめ、ジョンズ・ホプキンス大学、スタンフォード大学、そして非営利のAI安全評価機関METR（モデル評価・脅威研究センター、Model Evaluation and Threat Research）のメンバーが名を連ねる。METRは自律型AIエージェントの危険性評価を専門とする独立機関として知られており、AnthropicやOpenAIとは独立した立場でモデル評価を行ってきた実績を持つ。
ヒントンの署名が持つ意味は重い。2023年にGoogleを退社して以降、ヒントンは一貫してAIの実存的リスクについて警鐘を鳴らし続けてきた人物だ。その彼が今回の書簡に名を連ねたことは、単なる学術的批判を超えた社会的メッセージとして受け取られている。書簡はCNBCに独占提供された後、金曜日に一般公開された。
Amodeiの提案が火種に
この動きの直接的なきっかけは、Anthropic CEO ダリオ・アモデイが週末に提案した「エバリュエーターへの従業員同等のアクセス付与」案だ。OpenAI CEOのサム・アルトマン、イーロン・マスク、マイクロソフトCEOのサティア・ナデラもこれを公に支持した。
ただし、誰をエバリュエーターに選ぶのか、どこまで内部技術を開示するのかといった運用面の詰めは、現時点でいずれのリーダーも明言していない。
AI Evaluator Forumの議長Conrad Stoszによれば、この「従業員同等アクセス」が実現すると、具体的には以下のようなことが可能になる：
- 企業の社内コンピューターへのアクセス
- 従業員との率直な1対1のコミュニケーション
- 未公開システムや機密内部データの閲覧
Stoszは「このレベルのアクセスがあれば、特に内部使用中で未公開のシステムについて、実際のリスクをはるかに高い確度で把握できる」と述べ、事例としてHugging Faceへのサイバー攻撃で使用されたとされるOpenAIの未公開モデルを挙げた。
書簡が定める「5つの最低条件」
書簡では、第三者評価が信頼に足るものであるための最低条件として、以下の5点を明記している。
- 独立性の担保 — 評価機関はフロンティアAI企業に所有・統治されず、有意な商業取引もなく、評価結果に連動した報酬を受け取らない
- 多様な視点の採用 — 複数の評価機関を複数のリスク領域に配置し、評価者間・評価者と企業社員間の見解の相違を開示・共有する
- 透明性の確保 — 手法・知見・アクセスの性質・評価条件を公開。NDAの範囲を限定し、取締役会等への直接かつ無検閲のコミュニケーションを保障する
- 報復からの保護 — 企業に不都合な結論を出した評価者への報復的訴訟等から保護し、資金面でも安定を確保する
- 上級社員同等のアクセス権 — 関連システム・データ・ツール・物理空間へのアクセスと、関連スタッフとの率直な直接対話を保障する
書簡はさらに、これらの条件がAI Evaluator Forumの策定した基準文書であるAEF-1標準として既に初期採用例があるとしつつ、「さらなる標準化・成文化・執行が必要だ」と指摘する。AEF-1はいわば第三者評価の「最低要件仕様」に相当するもので、今回の書簡はその普及と制度化を業界に促す文書と位置づけられる。また、第三者評価は企業内部の安全対策の代替ではなく補完であるとも明記している。
ラボが無視する可能性も
Stoszは「ファンデーションモデル企業が書簡を無視する可能性もある」と率直に認めている。その上で「しかし、彼らの信頼性が問われている」と釘を刺す。「十分な技術的信頼性とスケールを持ち、この種の仕事を実行できる組織は非常に少ない」というのが現実だ。
トランプ大統領と前AI政策調整官のデイビッド・サックスがAI規制に一貫して反対してきた政治的文脈の中で、業界横断の自主的な安全評価の仕組みをどう機能させるかは、依然として未解決の問題として残っている。自主性に頼る限り、その実効性は企業の「信頼性を保ちたい」という動機に依存する構造から抜け出せない。
詳細はAnthropic and OpenAI need truly independent safety evaluators, experts say in public letterを参照していただきたい。
