Mistral OCR 4はテキスト抽出を超えた「位置・種別・信頼スコア付き構造化出力」を提供 — RAG・エージェント・企業内検索パイプラインにそのまま刺さる設計に

6月23日、MarkTechPostが「Mistral OCR 4 Brings Citation-Ready Structured Output to RAG, Agentic, and Enterprise Search Pipelines」と題した記事を公開した。この記事では、Mistral AIが公開した新しいドキュメント理解モデル「OCR 4」が、バウンディングボックスやブロック分類、インライン信頼スコアを出力することでRAG（Retrieval-Augmented Generation：検索拡張生成）やエンタープライズサーチのパイプラインに直結する構造化データを提供する点について詳しく紹介されている。

テキスト抽出を超えた「構造化出力」がRAGを変える

LLMを活用したRAGや企業内検索システムの普及に伴い、「ドキュメントをどれだけ正確・構造的に取り込めるか」がパイプライン全体の品質を左右するボトルネックになりつつある。PDFや帳票、法務文書などの非構造化データをそのままLLMに渡しても、ページレイアウトや表・数式の意味構造は失われてしまう。これがRAGの精度やエージェントの推論品質を下げる大きな要因だ。

従来のOCRが「ページをテキストに変換する」ものだったとすれば、OCR 4は「ドキュメントの構造を丸ごと返す」モデルだ。

具体的には、抽出したテキストに加えて以下の情報を返す：

• バウンディングボックス：各ブロックのページ上の座標（ピクセル単位）。元文書のどの位置にテキストが存在するかを示す矩形領域の情報で、引用箇所のハイライトや墨消し処理に直接活用できる
• ブロックタイプ：タイトル、テーブル、数式、署名など
• 信頼スコア：ページ単位・単語単位で生成

これにより下流のシステムは、「文書に何が書かれているか」だけでなく、「それがどこにあり、どんな役割を持ち、モデルがどの程度確信しているか」を把握できる。この追加情報が、引用（citation）・墨消し（redaction）・人間によるレビュー（human-in-the-loop verification）に直接効いてくる。

バウンディングボックスはMistralへのリクエストの中で最も要望が多かった機能だという。分類済みのブロックはRAGにおけるより良い検索単位になり、エージェントはドキュメントを「読む」だけでなく「構造として操作する」ことが可能になる。企業の契約書管理や金融レポートの自動処理、医薬品申請書類の解析など、「ドキュメントの構造そのものが意味を持つ」ユースケースで特に威力を発揮する設計だ。

ベンチマークと実績

独立したアノテーターによる評価では、OCR 4が比較対象のすべてのシステムに対して平均72%の勝率を記録した。評価対象はAIネイティブOCRモデル、汎用フロンティアモデル、エンタープライズドキュメントサービス、そしてMistral OCR 3で、12言語以上にわたる600件以上のドキュメントを使用している。

自動ベンチマークのスコアは以下の通りだ：

顧客データも公開されている。知財管理プラットフォームのRogoは、主要なエージェントパーサーと比較して同等の精度をコスト約8分の1、レイテンシ約17分の1で達成したと報告。知財管理SaaSのAnaquaは、従来のプロバイダーと比較してページあたり約4倍の速度を計測している。

対応言語は10の言語グループにわたる170言語で、低リソース言語での精度向上も謳っている。

APIの使い方

基本的な抽出は include_blocks=True を指定するだけだ。

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={
        "type": "document_url",
        "document_url": "https://arxiv.org/pdf/2201.04234"
    },
    include_blocks=True,         # 型付きブロック + バウンディングボックス
    table_format="html",         # None / "markdown" / "html"
    include_image_base64=True
)

レスポンスはJSONで、pages 配列の各ページに markdown・images・tables・hyperlinks・dimensions・confidence_scores が含まれる。

人間によるレビューが必要なパイプラインでは、単語単位の信頼スコアを取得できる：

ocr_response = client.ocr.process(
    model="mistral-ocr-latest",
    document={"type": "document_url",
              "document_url": "https://arxiv.org/pdf/2201.04234"},
    confidence_scores_granularity="word"  # "page" でページ集計値
)

"word" を指定すると、各ページおよび各テーブルエントリに word_confidence_scores 配列が付与される。信頼スコアの低い領域を人間のレビューに回し、それ以外を自動承認するパイプラインを構築できる。

Pure Extraction vs Document AI：同一エンドポイントで使い分ける

OCR 4は単一のAPIエンドポイントで2つのモードを提供する。

判断基準は単純だ。生の抽出結果が欲しければOCR 4をそのまま使う。スキーマに合わせた構造化出力やドメイン固有フィールドの注釈が必要なら、同じエンドポイントのコールにDocument AIパラメータを追加する。

Mistral Search Toolkitとの連携、そして今後の展望

OCR 4はMistralが公開プレビュー中のMistral Search Toolkit（※Mistral公式リリースページで詳細が公開されている）の取り込みコンポーネントとしても機能する。Search ToolkitはMistralのオープンソース製コンポーザブル検索フレームワークで、OCR 4の構造化出力が検索・評価ワークフローへのcitation-readyな入力を提供する。バウンディングボックス付きの引用情報や信頼スコアを活かした人間レビューの組み込みなど、エンタープライズ向けの検索・監査パイプラインをエンドツーエンドで構築できる体制が整いつつある。RAGと構造化ドキュメント取り込みの統合が加速する中で、OCR 4はその中核インフラとして位置づけられている。

詳細はMistral OCR 4 Brings Citation-Ready Structured Output to RAG, Agentic, and Enterprise Search Pipelinesを参照していただきたい。