Anthropicの社内分析クエリ95%をClaudeが処理 — 成功の鍵はモデルの性能ではなくデータ基盤の整備だった

6月22日、Renato Losioが「Anthropic Reports Claude Now Handles 95% of Internal Analytics Queries」と題した記事を公開した。AnthropicがClaudeを活用して社内分析クエリの95%を自動化するに至った仕組みと、その成功要因を詳述している。注目すべき点は、この高精度を実現した要因としてAnthropicがモデル自体の性能をほとんど評価していないことだ。彼らが強調するのはデータガバナンス、セマンティック定義、そして運用上の規律であり、AI導入を検討する組織にとって示唆に富む内容となっている。

モデルの性能よりデータ基盤が鍵だった

Anthropicによれば、現在社内のビジネス分析クエリの約95%をClaudeが処理しており、集計ベースの精度も**約95%**に達している。これによりデータサイエンスチームは定型的なクエリ対応から解放され、因果モデリング・予測・機械学習といった戦略的な作業に集中できるようになったという。

この数字の変化は劇的だ。スキル（後述）を適用する前の状態では、Claudeが分析クエリに正確に回答できたのはわずか21%だった。そこに分析ワークフローとビジネスコンテキストをスキルとしてエンコードしたところ、全体精度が95%超に向上し、一部のドメインでは99%近くに達した。モデルは変わっていない。変わったのはデータ基盤の側だ。

4層構造のアーキテクチャ

Anthropicの分析基盤は以下の4つの層で構成されている。

データ基盤層：ガバナンスされたデータモデル、メトリクス、メタデータ
知識層：セマンティック定義、データリネージ（データの来歴情報）、ビジネスコンテキスト
スキル層：繰り返し発生する分析ワークフローをエンコードしたもの
バリデーション層：出力の正確性と一貫性を検証する仕組み

出典: Anthropic blog

この4層の中で特に重要なのが知識層の役割だ。Chen Changら5名のデータサイエンス・データエンジニアリングチームのメンバーはこう説明している。

データ基盤がデータウェアハウスそのものだとすれば、「真実の参照面（sources of truth）」はエージェントがそこをナビゲートするために参照する層だ。この層が概念とエンティティの曖昧さを解消し、ステークホルダーの質問にある「週次アクティブユーザー」を、データモデル上の具体的かつガバナンスされたエンティティに変換する。

つまり、「weekly active users」という自然言語の問いかけが、テーブル上の正しいカラムや集計ロジックに紐付くかどうかは、セマンティック定義の整備次第だということだ。「モデルに賢くなってもらう」のではなく、「モデルが参照すべき定義を人間側が整える」というアプローチである。

記事には、分析エージェントを誘導するために使用したスキルファイルのテンプレート（一部伏字）も掲載されており、実装の参考になる。

データコミュニティの反応は二分

この取り組みに対するデータコミュニティの反応は賛否が分かれている。

Untitled Data CompanyのBI/データアーキテクト、Francesco Mucioはセマンティックレイヤーの重要性を次のように強調した。

Anthropicの記事に対する的外れな反応が多い。どうやっているのかを明確にしよう。セマンティックレイヤーを使っている。データ基盤はディメンショナルモデルだが、テーブルを直接クエリするのではなく、分析スキルを通じてまずセマンティックレイヤーでディメンション、メトリクス定義、ジョインを解決する。

一方、Reddit上のデータコミュニティでは、分析処理は本来決定論的かつべき等（idempotent）な結果を返すべきであり、AIによる非決定的な出力はそもそも馴染まないという批判的な意見もある。これはAIを分析基盤に組み込む際の本質的な問いであり、Anthropicの事例が実用に足るかどうかは、各組織の許容精度水準にも依存する。

自動化QAエンジニアのArsenii Antonenkoは別の観点からこう述べている。

実世界の展開事例が増えるほど、同じ結論に行き着く。AIのパフォーマンスを制約しているのはモデルの能力ではなく、コンテキスト定義の精度だということが多い。

3つの原則

Anthropicはこの取り組みの知見として、成功するAI分析基盤に必要な原則を3つに集約している。

メトリクスの単一の真実源（Single Source of Truth）を維持する
正しいデータを見つけやすくする
定義の陳腐化を継続的に検出する

セルフサービス分析は、データセットの重複や指標定義の競合、ダッシュボードの乱立といった問題を生みやすい。これらの原則は、AIを使おうが使うまいが、データ基盤が抱える古典的な課題への回答でもある。Anthropicの事例が示すのは、「AI導入＝モデル選定」ではなく、「AI導入＝データ基盤の再整備」だという視点だ。

詳細はAnthropic Reports Claude Now Handles 95% of Internal Analytics Queriesを参照していただきたい。