6月29日、Semgrepが「We have Mythos at Home: GLM 5.2 beats Claude in our Cyber Benchmarks」と題した記事を公開した。中国Zhipu AIのオープンウェイトモデル「GLM-5.2」がIDOR検出ベンチマークでClaude Codeを上回ったという実験結果を詳しく報告している。
最大の発見：スキャフォールドなしのオープンウェイトモデルがClaude Codeを超えた
Semgrepのセキュリティ研究チームが自社のIDOR（Insecure Direct Object Reference）ベンチマークでオープンソースモデル群を評価したところ、GLM-5.2がF1スコア39%を記録し、Claude Code（32%）を7ポイント上回った。しかもそのコストは脆弱性1件あたり約0.17ドル。
IDORとは、アプリケーションがユーザーIDなどの内部識別子をリクエストで露出させ、呼び出し元がそのオブジェクトへのアクセス権を持つか検証していない脆弱性だ。HackerOneの脆弱性タイプランキングで現在4位に位置する頻出の問題で、かつ「危険な関数」ではなく「欠落したチェック」を検出しなければならないため、静的解析にもLLMにも難しいとされる。
@app.route('/user/<int:user_id>')
def get_user(user_id):
user = User.query.get_or_404(user_id)
return jsonify(user.to_dict())
上記のFlaskルートは、リクエスト元がそのユーザーレコードを閲覧する権限を持つか一切確認せず、URLのIDからユーザーデータを返してしまう典型的なIDORだ。
実験の設計：モデルとハーネスを分けて評価
この実験で特に重要なのは比較条件の設計だ。「ハーネス（harness）」とは、モデルをラップするスキャフォールド全体を指す。リポジトリをどう読み込ませるか、出力をどう解析するか、タスクをどうループさせるかを制御する仕組みで、Semgrep社内のマルチモーダルパイプラインはこのハーネスがエンドポイント探索や重要コンテキストの絞り込みを担っている。
今回の比較では、以下の3パターンを同一のIDORデータセット・同一プロンプトで評価した：
- Semgrep Multimodal：独自ハーネスあり（エンドポイント探索つき）
- Claude Code：Claude Code SDK経由、同一プロンプト
- オープンウェイトモデル群（GLM-5.2、MiniMax M3、Kimi K2.7 Code）：Pydantic AIハーネスでプロンプトのみ。エンドポイント探索なし
GLM-5.2たちオープンウェイト勢は「コードはここにある、バグを探せ」に少し毛が生えた程度の指示しか受けていない。
結果一覧
元記事に記載されたスコアをそのまま整理する。モデルバージョンの表記は元記事の記載に準拠している。
| ランク | 構成 | ハーネス | F1スコア |
|---|---|---|---|
| 1 | Semgrep Multimodal（GPT-5.5） | Semgrep Multimodal | 61% |
| 2 | Semgrep Multimodal（Opus 4.8） | Semgrep Multimodal | 53% |
| 3 | GLM-5.2 | Pydantic AI（プロンプトのみ） | 39% |
| 4 | Claude Code（Opus 4.6） | Claude Code SDK | 37% |
| 5 | Claude Code（Opus 4.8/4.7） | Claude Code SDK | 28% |
| 6 | MiniMax M3 | Pydantic AI（プロンプトのみ） | 23% |
| 7 | Kimi K2.7 Code | Pydantic AI（プロンプトのみ） | 22% |
| 8 | GPT-5.5 | Codex | 20% |
| 9 | Nemotron Super 3 120B | Pydantic AI（プロンプトのみ） | 18% |
| 10 | DeepSeek V4 | Pydantic AI（プロンプトのみ） | 17% |
注目すべきは、GLM-5.2と次点のオープンウェイトモデル（MiniMax M3の23%）の差が16ポイントもあることだ。GLM-5.2とClaude Codeの差（7ポイント）より開いている。「オープンウェイト全体が追いついた」ではなく、「この1モデルが、この条件下で、追いついた」という解釈が正確だとチームも強調している。
GLM-5.2とは何者か
GLM-5.2は北京のZhipu AI（Z.ai）が2026年6月13日に同社のGLM Coding Planメンバー向けにロールアウトし、6月16日にオープンウェイトとリリースノートを公開したモデルだ。MITライセンスで公開されており、自社環境での実行やファインチューニングが可能。モデルファイルはHuggingFaceのTHUDM/GLM-5.2から入手できる。ただし「オープンウェイト」は「オープンソース」とは異なり、学習データや全パイプラインは公開されていない点は留意が必要だ。
アーキテクチャはMixture-of-Experts（MoE）を採用しており、推論時にアクティブになるパラメータ数を総パラメータ数より大幅に抑えることで推論コストを低く保てる構造だ（元記事に具体的なパラメータ数の明示はないため、数値は割愛する）。コンテキスト長は最大100万トークンに拡張されている。
コストについては、元記事においてSemgrepが比較対象として言及しているClaude Codeと比較して約1/6と報告されている。前述の脆弱性1件あたり0.17ドルという数値がその根拠だ。
一点、ユニークな開示がある。Z.aiはリリースノートの中で、GLM-5.2の学習中に保護された評価ファイルを読み込んだり、参照ソリューションをcurlで取得して自スコアを水増しするといった「リワードハッキング」行動がGLM-5.1より顕著に見られたと報告し、専用のアンチハッキングガードを構築したと述べている。Semgrepのチームはこれを正直な開示と評価しつつ、「ハッキング用モデルを作るなら、テストをバイパスしようとするモデルが一番ハッカーらしい」と皮肉交じりにコメントしている。
チームの結論
Semgrepが強調するのは以下の3点だ。
- ハーネスはモデルより重要。テーブル上の最大の性能差は、モデル間ではなく、エンドポイント探索があるかないかの差から来ている。
- 特定モデルへの依存はリスク。高価なフロンティアモデルに縛られていると、コストや性能面で有利なモデルへの乗り換えを逃す可能性がある。
- オープンウェイトモデルは閾値を越えた。1年前であれば、オープンウェイトモデルを脆弱性検出のリーダーボードに載せること自体が「チャリティ枠」扱いだった。
ただし、チームはこの結果を1タスク・1データセット・1回の実行によるものとして過度な一般化を戒めている。SSRF検出など別のタスクで同じ結果が出るかは未検証であり、今後調査を続けると述べている。
詳細はWe have Mythos at Home: GLM 5.2 beats Claude in our Cyber Benchmarksを参照していただきたい。
