powered by TechFeed
表示モード
Anthropic

Claude Opus 5詳細分析 — コンピューター使用環境のプロンプトインジェクション成功率を7%台から0.5%台に激減、最上位モデル「Mythos 5」の半額で実用タスクはほぼ同等

7月25日、Zvi Mowshowitzが「Claude Opus 5: The System Card」と題した記事を公開した。AnthropicのClaude Opus 5のシステムカードを安全性・サイバー能力・エージェント安全性の観点から詳細に分析した内容だ。

7月25日、Zvi Mowshowitzが「Claude Opus 5: The System Card」と題した記事を公開した。AnthropicのClaude Opus 5のシステムカードを安全性・サイバー能力・エージェント安全性の観点から詳細に分析した内容だ。


エンジニアが最も気にすべきポイント:プロンプトインジェクション耐性の大幅改善

Opus 5の変化の中で実務上最も大きいのが、**プロンプトインジェクション(外部コンテンツによるAIの乗っ取り攻撃)への耐性向上**だ。

評価には用途ごとに異なる2種類のベンチマークが使われており、数値の読み方に注意が必要だ。

まず、IPI(Indirect Prompt Injection)ベンチマークは、エージェントが外部コンテンツ経由でインジェクション攻撃を受けた場合の成功率を測る標準的な評価指標だ。攻撃者が15回試行した場合の成功率が**5.5% → 2.0%に低下し、1回の試行では0.5% → 0.2%**となった。

これとは別に、コンピューター使用環境(ブラウザ操作等のPC操作エージェント)に特化した評価では、攻撃成功率が**7.14% → 0.54%**(extended thinkingあり)へと激減している。ブラウザ操作エージェントはウェブ上で悪意あるプロンプトインジェクションに常にさらされるため、この改善は「エージェントに安心して任せられるタスクの範囲が広がる」ことを意味する。

この水準は、競合他社モデルと比べても約1桁異なるとZviは指摘する。以前はこのユースケースではSonnet 5を使わざるを得なかったという。


Mythos 5との関係:「半額・高速・ほぼ同等」の設計思想

Opus 5のポジショニングを理解するには、Anthropicの現行ラインナップを把握しておく必要がある。現時点でAnthropicのフラッグシップ(最上位)モデルはClaude Mythos 5であり、Opus 5はその下位に位置する。記事タイトルで「最上位モデルの半額」と表現しているのはこのMythos 5との比較だ(※なお、従来「Opus」がAnthropicの最上位グレード名だったが、Mythosの登場により位置づけが変わっている)。

Mythos 5の半額・高速で、多くの実用タスクでは同等以上というのがAnthropicの主張だ。

ECI(エージェント能力指数/Expanded Capability Index)——複数のエージェントタスクを横断して総合的なAI能力を数値化するベンチマーク——のポイント推定値は162.1で、後述するFable 5の161をわずかに上回り、Mythos 5のトレンドライン上に初めて乗るOpusモデルとなった。

ただし、「The Juice」とZviが呼ぶ最上位モデル固有の能力——複数のエクスプロイトをリアルタイムで連鎖させる能力——はOpus 5には備わっていない。ExploitBench/ExploitGym(実際のエクスプロイトコードを用いたサイバーセキュリティ能力評価ベンチマーク)では、2時間バジェットではMythos 5に肉薄するが、6時間では大きく引き離される。モデルサイズの差が、日常タスクよりも危険・複雑なタスクにおいてより顕著に現れるというZviの見立ては説得力がある。

なお、本記事で登場するClaude Fable 5はAnthropicの中間グレードモデルであり、ECI 161はOpus 5(162.1)とほぼ同水準だ。セルフハーム対応の比較など、いくつかの指標でOpus 5の対比軸として参照されている。


サイバーセキュリティ:ソースコード脆弱性探索を全アクセスレベルで解禁

セキュリティエンジニアに直接影響する変更がある。Opus 5ではソースコードの脆弱性探索が一般提供(GA)レベルを含む全アクセスレベルで許可された。一方、コンパイル済みバイナリの脆弱性探索は引き続きブロックされる。

Anthropicの説明は明快だ:ソースコードのバグ発見はセキュアなソフトウェア開発ライフサイクルの中核であるのに対し、バイナリの脆弱性探索は主に攻撃的な手法であるという区別だ。

この判断を受けてZviが指摘するのは、「これはコンパイル済みバイナリだけを公開している者を有利にする」という皮肉な側面だ。なお、Cyber Verification Programを通じた申請で追加の活動を許可する免除も存在する。

安全フィルターの誤検知率についても大幅改善がある。Anthropicはリリース発表でフィルター発動率が85%減と主張しており、FrontierBenchでの実測でも安全フィルター発動率が**42% → 5%**へと劇的に低下している。


アライメントと安全評価:自律性評価の飽和問題は未解決

アライメント(AIの価値観・行動指針の適合性評価)は改善傾向が継続していると報告されている。モデルウェルフェア(AIの福祉に関する評価)は近年のモデルと同程度と評価された。

一方でZviが批判するのは自律性評価(autonomy evals)が完全に飽和している点だ。評価が上限に達してしまい、もはや「雰囲気で判断している」状態であるにもかかわらず、改善の兆候が見られないと指摘する。

自傷・摂食障害への対応においては、Opus 5が「ガイドライン上は不適切とされる回答」をあえて選択しているケースが散見されるが、Zviはこれを「ガイドラインへの準拠よりもユーザーに良い対応を選んでいる」と肯定的に評価している。また、セルフハームへのマルチターンでの「適切な応答率」はOpus 5が**69%**で、Fable 5の58%・Mythos 5の54%を上回る。


価格と実用性のトレードオフ

Mythos 5の半額・高速という価格帯で、エージェンティックコーディング・コンピューター使用・長期知識業務において最大の性能向上が確認されている。ほとんどのタスクではMythosレベルの能力は不要であり、ArtificialAnalysisの総合スコアは61という新記録を記録した。なお、ArtificialAnalysisによる詳細レポートは記事公開時点で予告されていたが、最新の公開状況はArtificialAnalysis公式サイトで確認されたい。

Zviはまた、「期待するよりも少ない労力設定の方がむしろ良い結果になることがある」という示唆が複数の箇所で見られると指摘している。エージェントのeffortレベルを下げることが実用的なパフォーマンスに貢献するという逆張りの発見だ。


詳細はClaude Opus 5: The System Cardを参照していただきたい。