powered by TechFeed
表示モード
Deep Dive

SusVibesベンチマークでセキュアな解はわずか11.8% — Cursor・Copilot生成コードのリリース前テスト手法まとめ

11月20日、Security Boulevardが「AI code security: how to test AI-generated code before it ships」と題した記事を公開した。Cursor・Copilot・Claude CodeといったAIコーディングツールが生成したコードに潜むセキュリティ上の欠陥を、リリース前に発見・修正するための具体的なテスト手法が詳しく紹介されている。

11月20日、Security Boulevardが「AI code security: how to test AI-generated code before it ships」と題した記事を公開した。Cursor・Copilot・Claude CodeといったAIコーディングツールが生成したコードに潜むセキュリティ上の欠陥を、リリース前に発見・修正するための具体的なテスト手法が詳しく紹介されている。


数字が示す現状:セキュアな解はわずか11.8%

AIコード生成の普及にともない、PRのかなりの割合がCursor・Copilot・Claude Codeといったエージェントから生まれるようになっている。しかし、機能として動くコードとセキュアなコードは別物だ。

カーネギーメロン大学が開発したSusVibesベンチマークによれば、AIエージェントのセキュリティ耐性をvibe codingシナリオ下で評価したところ、最良のエージェント構成でも「動作する」解が57%に対し、「セキュア」な解は**わずか11.8%**だった。SusVibesはvibe codingツールが生成するコードのセキュリティ品質を体系的に測定するために設計されたベンチマークで、このデータはあくまでSusVibesが対象とするシナリオ群における数値である点に留意が必要だ。

さらに、APIセキュリティスキャンを手がける企業Escapeが5,600以上の公開vibe-codedアプリをスキャンした結果、約60%がクリティカルなセキュリティ欠陥を抱えており、その主因はインジェクションではなくパーミッションの設定ミスだった。

「vibe coding」とは、自然言語プロンプトを主体に、コードをほぼ書かずにアプリを作る開発スタイルを指す。LovableやBolt、Base44などのプラットフォームで広まっている。


AIが生成しやすい脆弱性の類型

記事はOWASP Top 10:2025に沿って、AIコードに頻出する欠陥を整理している。

1. 認可チェックの欠落・IDOR・認証の甘さ(最重要)

AIへのプロンプトは「このエンドポイントが何を返すか」を記述するが、「誰が呼べるか」はほぼ書かれない。結果として、所有者チェックのないルートがそのまま本番に出る。

IDOR(Insecure Direct Object Reference)は、生成されたクエリがリクエスト中のIDだけでフィルタリングし、そのユーザーが本当にそのリソースにアクセスしてよいかを検証しないことで生じる。OWASP API Security Top 10ではこれを1位(BOLA: Broken Object Level Authorization)に挙げている。

Escapeのスキャンでは、公開vibe-codedアプリから12件のBOLA確認事例とゼロクリックのアカウント乗っ取り2件、400件超の公開状態変更エンドポイントが見つかった。ジョージア工科大学のVibe Security Radarも、2026年4月までにAIコーディングツールに起因する74件の確認済みCVEを記録しており、うち14件がクリティカル評価だ。

この欠陥を見抜くテストは単純だ。1つのアカウントでログインしても問題は出ない。別ユーザーのデータを別アカウントからリクエストして初めて露見する。

2. オープンなデータベースルールと露出したシークレット

Supabaseを使ったvibe-codedアプリでは、ブラウザに公開されるanonキーそのものは設計上パブリックだ。問題はRow Level Security(RLS)ポリシーが設定されていないことにある。Supabaseの公式ドキュメントは「RLSなしで公開スキーマに置かれたテーブルは、権限を持つロールなら誰でも読み書きできる」と明記している。

CVE-2025-48757はLovableが生成したサイトにおける不十分なRLSポリシーを記録しており、未認証の攻撃者がDBテーブルを読み書きできた事例だ。Escapeのスキャンはこの脆弱性が現在も出荷されていることを確認し、2件の実例では未認証のGETリクエスト1本で氏名・生年月日・銀行口座情報・平文パスワードが取得できた。

Moltbookのケースでは、Wiz Researchが150万件のAPIトークンと35,000件のメールアドレスがSupabaseの設定ミスによって露出していたと報告している。

ハードコードされたAPIキーについては、gitの履歴が問題をさらに深刻にする。コードからキーを削除しても、全クローンにそのキーが残り続ける。Escapeのスキャンでは公開アプリから400件超のシークレット漏洩を検出した(GitHubトークン6件、OpenAI APIキー7件、決済管理APIキー2件を含む)。

3. インジェクション・SSRF・レートリミットの欠如

文字列結合で構築されたSQLクエリやユーザー入力へのevalはAI生成コードでも再現する。SSRF(Server-Side Request Forgery)は、生成されたサーバーコードがユーザー指定のURLをフェッチする際、送信先のホワイトリストがないことで、クラウドメタデータエンドポイント(169.254.169.254)や内部サービスへのリクエストが可能になる。Escapeは4件のSSRF実例を確認した。

レートリミットはプロンプトで誰も頼まないので実装されない。スロットリングのないログインフォームはブルートフォースの標的になり、LLMバックエンドのエンドポイントではAPIコストを他人に積み上げられる。

4. ハルシネーションパッケージと古い依存関係

USENIX Security 2025の研究によれば、576,000件の生成コードサンプルのうち、商用モデルで**5.2%、オープンソースモデルで21.7%**のパッケージ参照が実在しないパッケージ名だった(固有名称で20万5,474件)。存在しない名前を誰かが先に登録してしまう攻撃は「スロップスクワッティング」と呼ばれ、サプライチェーン攻撃の新形態として記録されている。

また、CursorのCVE-2025-54135では間接的なプロンプトインジェクションがMCP設定ファイルへの書き込みを通じてRCEに至った事例もある。


コードスキャナーで検出できる欠陥・できない欠陥

SAST(静的解析)・シークレットスキャン・依存関係解析はリポジトリを読む。ハードコードされたキー、string-builtクエリ、実在しないパッケージの検出には有効で、コミットごとの実行コストも低い。

しかし、ユーザー間の認可チェック、RLSポリシー、レートリミットはデプロイされたシステムの挙動であり、コードスキャナーには第二のユーザーアカウントがない。SupabaseのRLSポリシーはリポジトリの外にあるSupabaseプロジェクト側の設定であり、静的解析ツールの視野には入らない。

Escapeが5,600件超のアプリをスキャンして得た34,232件の脆弱性のうち、約2,000件がハイインパクト、400件超がシークレット露出、175件がPII露出だった。その大半は認証なしで到達可能であり、コードスキャナーだけでは検出できない種類の欠陥が大半を占めていた点が重要だ。静的解析と動的テストを組み合わせることが、AI生成コードのセキュリティ監査において不可欠となる。


リリース前に行うAIコードセキュリティ監査の手順

記事はリリースごとに以下の監査を実施することを推奨している。

  1. 生成されたものをすべてマッピングする ― ルート、APIエンドポイント、フロントエンドバンドル、BaaSプロジェクト、MCPサーバーを列挙。クライアントサイドJavaScriptで参照されているキーやエンドポイントも含める。ネットワークトラフィックで.lovable.appや.base44.comドメインを探すことも有効だ。
  2. 全PRをスキャンする ― シークレットスキャンはgitの全履歴を対象にする。SCAでは、パッケージが実在するか・OSV-Scannerで既知CVEがないかを確認。認証・認可・暗号・入力処理に触れるコードは人間がレビューする。
  3. 2アカウントで動作中のアプリをテストする ― ロールごとに1アカウントを用意してステージング環境に対して認証済みスキャンを走らせ、ユーザーAがユーザーBのデータを読み書きできないかを確認する。これがIDORを露見させる唯一の手段だ。

さらに、同じモデルは同じミスを複数プロジェクトで繰り返す傾向があるため、あるアプリで確認された欠陥は、同じツールが書いた全コードでリテストする価値があると記事は指摘している。


詳細はAI code security: how to test AI-generated code before it shipsを参照していただきたい。