powered by TechFeed
表示モード
ハウツー

Azure SQL DatabaseだけでRAGパイプラインが完結 — 専用の外部ベクトルストア不要、T-SQLでチャンク化から検索まで

11月21日、Microsoft Azure SQLが「How to Chunk Documents in Azure SQL Database for RAG」と題した記事を公開した。この記事では、Azure SQL DatabaseのネイティブT-SQL関数を使ってドキュメントをチャンク化し、ベクトル検索によるRAG(検索拡張生成)パイプラインを構築する方法について詳しく紹介されている。対象読者は「別途ベクトルサービスを導入する前に、既存のAzure SQL DatabaseでセマンティックリトリーバルをSQLでどこまで試せるか評価したいSQLデベロッパーやアーキテクト」だ。チャットボットの完成品でも本番証明でもなく、リトリーバル部分の基礎パイプラインを動かす入口として位置づけられている。

11月21日、Microsoft Azure SQLが「How to Chunk Documents in Azure SQL Database for RAG」と題した記事を公開した。この記事では、Azure SQL DatabaseのネイティブT-SQL関数を使ってドキュメントをチャンク化し、ベクトル検索によるRAG(検索拡張生成)パイプラインを構築する方法について詳しく紹介されている。対象読者は「別途ベクトルサービスを導入する前に、既存のAzure SQL DatabaseでセマンティックリトリーバルをSQLでどこまで試せるか評価したいSQLデベロッパーやアーキテクト」だ。チャットボットの完成品でも本番証明でもなく、リトリーバル部分の基礎パイプラインを動かす入口として位置づけられている。


既存のAzure SQL DBをそのままRAGに使う

RAGを実装しようとすると、Pineconeやpgvectorなど別途ベクトルストアを追加するケースが多い。しかし製品マニュアルやサポートガイドがすでにAzure SQL Databaseに格納されているなら、Azure SQL Database自体をベクトルストアとして活用することで、専用の外部ベクトルサービスを追加せずにRAGのリトリーバルを構築できる、というのがこの記事の要点だ。

記事が想定するシナリオはシンプルだ。サポートアプリのユーザーが「Wi-Fiパスワードを変えたらゲートウェイがオフラインになった。どうすれば再接続できるか?」と質問する。キーワード検索では関連する手順を見落とすことがあり、マニュアル全文をLLMに渡せば無関係なテキストがコンテキストを圧迫する。数段落の関連パッセージだけを取り出して渡すのが現実的な解だ。


パイプラインの全体像

ドキュメント → チャンク化 → 埋め込み生成 → ベクトル格納 → ベクトル検索 → アプリ or LLM

チャンク化と検索はAzure SQL Database内で完結し、埋め込み推論はAzure OpenAI(text-embedding-3-small)が担う。記事が使う関数は以下の4つだ。

  • AI_GENERATE_CHUNKS() — テキストをT-SQL内で直接チャンク分割
  • AI_GENERATE_EMBEDDINGS() — 外部モデルエンドポイントを呼び出してベクトル化
  • VECTOR(n) 型 — 埋め込みベクトルをカラムとして格納
  • VECTOR_DISTANCE() / VECTOR_SEARCH() — コサイン距離等によるベクトル検索

これらはいずれも比較的新しいAzure SQL固有の機能であり、執筆時点(2025年11月)ではPreviewステータスの機能を含む。本番環境への適用前に、各機能の現在のプレビュー/GA状況をMicrosoft公式ドキュメントで確認することを強く推奨する。


肝心のAI_GENERATE_CHUNKS:固定サイズチャンキング

記事の中核となるのがAI_GENERATE_CHUNKSだ。データベース互換性レベル170以上が必要な点は最初に確認しておきたい。

SELECT name, compatibility_level
FROM sys.databases
WHERE name = DB_NAME();
-- 170未満の場合:
-- ALTER DATABASE [YourDatabase] SET COMPATIBILITY_LEVEL = 170;

互換性レベルの変更は既存クエリプランに影響する可能性があるため、本番DBへの適用前に必ずテストすること。

チャンキングのキーパラメータは以下の通りだ。

パラメータ 意味 記事での設定値
CHUNK_TYPE 分割方式(現在はFIXED) FIXED
CHUNK_SIZE 文字数(トークン数ではない) 500文字
OVERLAP チャンク間の重複割合(0〜50%) 15%(=75文字の重複)

CHUNK_SIZEがトークン数ではなく文字数である点は見落としやすい。LLMのコンテキスト制限はトークン数で管理されるため、本番設計時には換算に注意が必要だ。参考として、text-embedding-3-smallを英語テキストで使う場合、おおよそ1文字あたり0.25〜0.3トークン程度に相当することが多く、500文字であれば概ね125〜150トークン前後の目安になる。日本語など多バイト文字では1文字あたりのトークン消費が大きくなるため、実際の運用ではOpenAIのTokenizerツール等で事前に検証しておくことを勧める。

OVERLAPの意味

OVERLAPを設定すると、前のチャンクの末尾テキストが次のチャンクの冒頭に繰り返し含まれる。手順の説明とその注意書きがチャンク境界で分断されるリスクを下げられる。ただし記事は「オーバーラップは自動的に品質を上げるものではなく、テストすべきバリエーションの一つ」と明確に位置づけている。


セットアップ:テーブル構成と認証

テーブルはDocuments(原文とメタデータ)とDocumentChunks(チャンクテキスト+埋め込みベクトル)の2テーブル構成だ。

CREATE TABLE dbo.DocumentChunks (
    chunk_id     INT IDENTITY(1,1) PRIMARY KEY,
    doc_id       INT NOT NULL REFERENCES dbo.Documents(doc_id),
    chunk_text   NVARCHAR(MAX),
    chunk_order  BIGINT,
    chunk_offset BIGINT,
    chunk_length INT,
    chunk_method NVARCHAR(50),  -- 'fixed' or 'overlap' を区別
    embedding    VECTOR(1536),
    created_at   DATETIME2 DEFAULT SYSUTCDATETIME(),
    CONSTRAINT UQ_DocumentChunks_MethodOrder
        UNIQUE (doc_id, chunk_method, chunk_order)
);

chunk_methodカラムで固定チャンクとオーバーラップチャンクを同一テーブルで管理し、結果を比較できる設計になっている。

Azure OpenAIへの接続はデータベーススコープの資格情報と外部モデル定義で行う。

CREATE EXTERNAL MODEL MyEmbeddingModel
WITH (
    LOCATION = 'https://<your-resource>.openai.azure.com/openai/deployments/<your-deployment-name>/embeddings?api-version=2024-06-01',
    API_FORMAT = 'Azure OpenAI',
    MODEL_TYPE = EMBEDDINGS,
    MODEL      = 'text-embedding-3-small',
    CREDENTIAL = [https://<your-resource>.openai.azure.com/]
);

記事はAPIキーを直接スクリプトに埋め込む例を示しつつ、Azure Key VaultかマネージドIDを使うことを強く推奨している。埋め込み生成はサービスクォータを消費し課金対象になる点も明記されている。


ベクトルインデックスの注意点

CREATE VECTOR INDEX(DiskANNベースの近似最近傍インデックス)を作成するにはNULL以外のベクトルが100件以上必要だ。記事のデモは6ベクトルしか生成しないためインデックス作成はスキップしているが、この最小値はANNへの切り替え推奨基準を意味するものではないと注記されている。


詳細はHow to Chunk Documents in Azure SQL Database for RAGを参照していただきたい。