11月18日、Shireen NagdiveとRiya Suriが「How AI Slashed 600-Test-Failure Triage From Days to 90 Minutes」と題した記事を公開した。この記事では、600件超のテスト失敗トリアージをAIツールで数日から約90分に短縮したSalesforceのエンジニアリング事例について詳しく紹介されている。以下に、その内容を紹介する。
600件のテスト失敗を90分で捌く——何が問題だったか
Salesforceでは、SOAP APIログイン機構の廃止という大規模なプラットフォーム変更に伴い、600件以上のテスト失敗が一斉に発生するという状況に直面した。問題の本質は「量」ではなく「曖昧さ」だ。
意図的に引き起こした「想定内の失敗」と、たまたま同じタイミングで発生した「本物のバグによる失敗」が、似たようなスタックトレースを吐き出す。例外の種類も酷似しており、複数のスクラムチームにまたがって発生するため、どれが誰の問題なのかを人力で判別するのは極めて困難だった。
既存のワークフローにも構造的な欠陥があった。エンジニアはスタックトレースを手動で開き、オーナーを特定し、50件ずつしか処理できないインターフェースを通じて再割り当てを繰り返す必要があった。しかもこのインターフェースは、同一チームへの重複チケット作成や誤ルーティングを引き起こすことがあった。結果として、トリアージは複数名のエンジニアが数日かけて行うチーム作業になっていた。
MCPベースのAIツール「AI-Assisted Test Failure Buddy」の設計
チームが構築したのがAI-Assisted Test Failure Buddyだ。Model Context Protocol(MCP)を活用し、PythonとFastMCPで実装されている。MCPとは、AIモデルが外部ツールやAPIを呼び出す際のプロトコル仕様で、Anthropicが提唱した標準だ。
このツールは8つのMCPツールをClaude CodeまたはCursorに公開し、Salesforce社内のワークフロー管理システム「GUS」のAPIと接続する。アーキテクチャは3層構造になっている。
- インターフェース層:モデルが利用できる機能と必要な引数を型付きで定義
- コアロジック層:API呼び出し、ID管理、バリデーション、バッチ処理、クラスタリング、パターンマッチング、再割り当てを制御
- サポート層:認証とトークン管理

アーキテクチャ図(MCPワークフロー)
ワークフローは4段階で進む。①失敗一覧の取得、②スタックトレースからのコンテキスト収集、③パターン検出とカテゴリ付与、④個別・バルク・チーム単位での再割り当て。エンジニアは自然言語で指示を出すだけで、この全工程を操作できる。
「決定論的コード」と「AI」の役割分担が鍵
設計上の最も重要な判断は、何をコードで処理し、何をAIに任せるかの境界線を引いたことだ。
スタックトレースの解析では、例外の種類・メッセージ・アサーション行などをコードが正規表現で抽出してシグネチャを生成する。SOAP APIログインの廃止に起因する失敗については、INSUFFICIENT_ACCESSなどの既知パターンをプリセットとして登録し、コードが確実に処理する。
一方で、既知パターンにマッチしない曖昧なスタックトレースの解釈や、オーナーシップが不明確なケースの判断はAIが担う。AIは「似ているが別問題」と「同一根本原因の別症状」を区別し、適切なチームへの割り当てを推論する。
コードが機械的処理を担い、AIが曖昧さの解釈を担い、エンジニアが最終判断を保持する——この役割分担により、既存の自動化スクリプトでは解決できなかった「スケールでの曖昧性解消」を実現した。
バルク再割り当てのリスク管理も丁寧に設計されている。各バッチで新規チケットを作るのではなく、既存の1つのワークアイテムに関連失敗をまとめて紐付ける方式を採用。誤ルーティングを防ぐため、IDは明示的に指定し、共通メッセージで対応方針をチーム間で統一して伝える。
実際の効果と開発プロセス
結果は明確だ。600件の失敗を含む1つのワークアイテムについて、従来は複数エンジニアが2〜3日かけていたトリアージが、1人のエンジニアで約1〜1.5時間に短縮された。現在は3〜4チームが利用しており、採用テレメトリは未整備ながらSlack上でのポジティブな反応が確認されているという。
ツール自体の開発にもAIを活用している。問題・設計・必要な動作を記述した詳細なMarkdownファイルを出発点に、Claude Codeで実装を生成・洗練させながら、エンジニアがレビューとテストでループに留まる方式を取った。
詳細はHow AI Slashed 600-Test-Failure Triage From Days to 90 Minutesを参照していただきたい。




