10月17日、SF Standardが「Who is watching the AI companies? Handpicked Berkeley safety groups」と題した記事を公開した。Anthropicが選定したAI安全性の第三者監査機関が、AI業界と深い接点を持つ組織であるという構造的な問題を掘り下げた内容だ。「監査する側が監査される側と密接につながっている」という事実は、自主規制に頼るAI業界の限界を改めて問い直す。
AnthropicがMETRに「社員同等のアクセス権」を付与
Anthropicは、バークレーを拠点とする非営利団体METR（Model Evaluation & Threat Research）を、自社モデルの独立評価機関として選定した。METRのスタッフ6名に対し、Claudeをはじめとする先進モデルへの「社員同等のアクセス権」とサンフランシスコオフィスのスペースを提供し、テストと報告書作成を委託する。報告書は一般公開される予定だが、Anthropicは顧客データやモデル構造に関わる情報と判断した場合、記述の一部を黒塗りできる権限を持つ。METRの評価内容に拒否権はないとAnthropicは説明している。
この発表は、トランプ大統領がホワイトハウスで主要AI企業との昼食会を開き、外部機関によるモデル評価を「道義的に拘束力のある」誓約として取り決めた2週間後のことだ。OpenAIも独自の評価機関との契約を最終調整中だとしている。連邦議会はいまだにAIに対する実質的な規制を設けておらず、モデルが暴走しないよう監視する責任は事実上、各社自身に委ねられている。
「監視する側」と「監視される側」の顔ぶれが重なる
この枠組みの核心的な問題は、監査する側と監査される側が密接につながっている点だ。
METRの創設者であるBeth Barnesは、DeepMindとOpenAIでの勤務を経て2023年末に同団体を設立した。METRはAI安全性評価の専門機関として設立されたが、その人的基盤はAI業界の中心人物たちによって形成されている。こうした人脈の集中は、個人の能力や意図の問題ではなく、AI安全性研究という分野そのものの成り立ちに由来する。
AI安全性は長らく主流の研究分野と見なされておらず、OpenAIのSuperalignmentチームやAnthropicの安全チームといったごく限られたラボ内組織、あるいはMachine Intelligence Research Institute（MIRI）やCenter for Human-Compatible AI（CHAI）など、バークレー周辺の小規模な学術・非営利機関が草の根的に担ってきた歴史がある。これらの機関は資金・人材・思想的背景を共有しており、Effective Altruism（EA）コミュニティとの親和性が高い集団として知られている。結果として、AI安全性の専門知識を持つ人材プールは極めて狭く、業界と完全に無縁な評価者を探すこと自体が構造的に難しい状況にある。
加えて、Anthropicの発表直前には、OpenAIが安全性研究者3名を「機密情報の共有」を理由に解雇するという出来事があった。そのうちの1人はXへの投稿で、METRとのやり取りが解雇の一因だったと明かしている。この解雇はOpenAI内部の判断によるものであり、AnthropicによるMETR選定とは直接の因果関係はないが、AI安全性コミュニティの狭さと、その内部で起きる摩擦を象徴する出来事として注目を集めた。
記事で取材を受けたPalisade ResearchのエグゼクティブディレクターJeffrey Ladish（2022年にAnthropicを退職）は状況をこう表現する。
「バークレーやAI企業と全く接点のないAI人材を見つけるのは難しい」
資金面でも同様だ。AI安全性の分野は長年注目されてこなかったため、研究に出資する寄付者の数は限られており、同じ顔ぶれが研究機関・企業・出資者として循環している構図がある。
一方、Nightingale CollectiveのCEO、Sydney Von Arxは別の見方を示す。多くの研究者は大手ラボを失望して去ったのであり、企業の言いなりになるとは限らないという。
ただし、サンタクララ大学マルックラ応用倫理センターの技術倫理担当ディレクター、Brian Patrick Greenはこの楽観論に慎重だ。
「利益相反は金銭だけの問題ではない。ラボにいる友人や、いつかそこで働きたいという期待からも生まれる。逆方向に偏った研究者が中立かといえば、そうではない」
「監視者を監視する者」が必要という指摘
Greenは、完全な独立性を担保するには複数の独立した資金源を持つ複数の監査組織が必要であり、ラボと評価者間の人材移動にも制限が必要だと主張する。
「サードパーティの評価者だけでなく、その評価者を見る人間も必要かもしれない」
規制のない業界における「自主規制」の限界は古くからある問題だが、少なくとも現状では「ないよりはまし」という状況でもある。
Anthropicはこれ以外にも、生物兵器リスクの評価を専門とするSecureBioや、大手コンサルティングファームのアクセンチュアとも連携しており、追加の評価機関とも交渉中だとしている。SecureBioはバイオセキュリティ分野に特化しており、METRとは異なるドメインの専門性を持つ。アクセンチュアのような大規模な商業組織の参加は、AI安全性コミュニティとは別の人材・資金基盤をもたらす可能性がある一方、独立評価としての実効性については引き続き議論が必要だ。評価機関の多様化が「独立性の担保」として実質的に機能するかどうかは、各機関の評価プロセスの透明性にかかっている。
詳細はWho is watching the AI companies? Handpicked Berkeley safety groupsを参照していただきたい。
