PostmanのAPI依存マップをLLMエージェントに渡したら、トークンが43%減り処理速度も42%向上した話

11月5日、Postmanが「Context Graph Makes GPT 6.1 Terra 42% Faster and Uses 43% Less Tokens」と題した記事を公開した。この記事では、PostmanのContext GraphをGPT-6.1 Terraに組み合わせることで、トークン消費を43%削減し処理速度を42%向上させた実験結果について詳しく紹介されている。なお本実験は各条件1回ずつの実行であり、以下の数値は統計的な繰り返し検証を経たものではない点をあらかじめ断っておく。

LLMエージェントのトークンコストを43%削減

AIコーディングエージェントを実務で使っていると、見えないところでトークンが消費され続けていることに気づく。エージェントがファイルを開き、参照を追い、また検索する——その大半は「関連するコードがどこにあるか」を探す作業だ。

Postmanはこの問題に対し、Context Graph（APIエコシステムを索引化したグラフ構造のマップ）を使った実験を行った。同じ17問のエンジニアリング質問を、グラフなしとグラフありの2条件でGPT-6.1 Terraに解かせ、トークン使用量・コスト・時間・精度を比較した。

なお、GPT-6.1 TerraはOpenAIのGPT-6.1系列に属するコーディングエージェント向けモデルであり、また採点に使われたClaude Opus 4.7はAnthropicのClaude 4系列の上位モデルである。いずれも本記事公開時点での比較的新しいモデルであるため、両者の詳細は各社の公式ドキュメントを参照されたい。

結果は以下の通りだ（各条件1回ずつの実行による数値）。

モデルトークンのコストは$0.226から$0.128へ、約43%の削減だ。「半減」には届かないが、速度向上と精度改善を同時に達成している点が注目に値する。

17問の合計では、入力トークンが1,471万から835万に減少し、総処理時間は約3.2時間から2.4時間に短縮された。1,000問スケールで試算すると、モデルトークンだけで約**$98の節約と3億7,400万トークンの削減**になる計算だ。

ただしこの試算はモデルトークンのみを対象としており、Context Graphへのクエリコストは別途発生する。コスト削減効果を自社環境で評価する際は、グラフクエリの料金を加味した総合的な比較が必要になる点には留意が必要だ。

コスト削減は17問中15問、処理時間の短縮は16問で確認された。

Context Graphとは何か

Context Graphは、Postman・GitHub・New Relicの3つのデータソースを接続した、プライベートなAPIエコシステムのマップだ。

• Postman：APIコントラクトとコレクション
• GitHub：実装コードと呼び出し箇所
• New Relic：デプロイ状況とランタイム情報

これらを統合することで、「あるAPIを誰が呼んでいるか、そのサービスは本番稼働中か、オーナーチームはどこか」という問いに答えられる。

記事では具体例として、GET /claims/{id} の amount フィールドをドル表記からセント表記に変更するケースが挙げられている。コードのテストは全部パスする。しかし settlement-worker というサービスがその値を使って支払い計算をしており、ドル前提で動いていたとしたら——支払額が100倍になる可能性がある。

グラフがあれば、settlement-worker が対象APIを呼び出していること、本番デプロイ済みであること、payments チームがオーナーであることを、コードを grep する前に把握できる。エージェントはその後、コードを検証する作業に集中できる。

ソース接続は一度行えば、以降は毎晩自動で更新される。ただし、索引化されていないソースはカバーされないため、グラフの結果は必ずコードで確認する必要がある点は明記されている。

テスト設計：802リポジトリ、34回の実行

実験対象は802のリポジトリを持つ公開GitHubオーガニゼーション。17問の質問は3種類に分類された。

クロスリポジトリ依存調査（9問）：特定サービスと連携しているリポジトリをファイル・行番号付きで列挙する問題。Kafkaトピックの消費者調査なども含む。

インベントリ調査（6問）：「HTTPエンドポイントを公開しているサービスはどれか」「テレメトリを送信しているサービスはどれか」など、特定サービスを指定しない網羅的な調査。答えが11件から161件まで幅広い。

影響範囲調査（2問）：破壊的変更が入るSDKに依存しており、再デプロイが必要な本番サービスはどれかを問う問題。

採点は**答えキー照合70%、引用ファイルパス検証5%、モデルジャッジ（Claude Opus 4.7）25%**の組み合わせで行われた。答えキーはContext Graphとは独立してコード検索から作成されており、グラフが自分の出力を採点するような構造にはなっていない。

ツールは read_file、list_dir、grep、glob、git_log、git_blame の読み取り専用ツールのみ。プロンプトにはリポジトリ名のヒントや期待件数のヒントは含まれていない。

効率向上のメカニズム

グラフあり条件では、Terraは最初にグラフのクエリ結果（候補リスト）を受け取り、そこからコード検証に入る。グラフなし条件では、Terraが候補探索から始める。

記事の表現を借りれば、「鍵の台帳がある大家は、誰に連絡すべきかのリストから始められる。台帳がない大家は、ドアを一つひとつ叩いて回るしかない」という関係だ。速くドアを叩けるようになることより、最初から台帳があることの方が効果が大きい。

グラフあり条件では、コード上に存在しないリポジトリを1問あたり平均約12件特定できた（グラフなし条件は約2件）。これはgrepでは到達できない範囲だ。

なお冒頭にも記したとおり、本実験は各条件1回ずつの実行であり、繰り返し実験による統計的な安定性の検証は今後の課題として明記されている。上記の数値はあくまで参考値として解釈するのが適切だ。

詳細はContext Graph Makes GPT 6.1 Terra 42% Faster and Uses 43% Less Tokensを参照していただきたい。