11月20日、Java Code Geeksが「Safeguarding LLM Output in Spring AI」と題した記事を公開した。この記事では、Spring AIのアドバイザー機構を使ってLLMの出力からクレジットカード番号やAPIキーなどの機密情報を自動リダクトするカスタム実装について詳しく紹介されている。
入力フィルタだけでは不十分な理由
LLMアプリのセキュリティ対策として、ユーザーの入力をチェックする「入力フィルタ」は一般的だ。Spring AIにも組み込みのSafeGuardAdvisorが存在し、ユーザーの入力をNGワードリストと照合する機能を持つ。
しかし、問題はモデルの出力側にある。以下のようなケースでは、入力フィルタは機能しない。
| 状況 | 入力フィルタが検知できない理由 |
|---|---|
| 無害な質問が機密データを引き出す | 「登録カードを教えて」にはNGワードがないが、ツール呼び出しや検索結果からカード番号が返ることがある |
| 間接プロンプトインジェクション | Webページや文書に埋め込まれた悪意ある指示が、RAGを通じてモデルに入り込む |
| 非決定的な生成 | 同じプロンプトでも毎回異なる出力が生成され、ある回だけ機密情報が漏れる可能性がある |
出力チェックは、実際にユーザーへ届く内容を唯一確認できるレイヤーであり、入力フィルタと組み合わせて使うのが基本となる。
ただし、出力ガードにも限界がある。正規表現はパターンに記述できるものしか検知できず、モデルが言い換えた秘密情報は素通りする。また、16桁の注文番号がカード番号として誤検知される偽陽性も発生しうる。ストリーミングレスポンスへの対応には追加のバッファリングが必要で、本記事のアドバイザーはブロッキングのcall()のみに対応している点も注意が必要だ。
CallAdvisorでリダクション処理を実装する
Spring AIのアドバイザーは、ChatClientへの全呼び出しをラップするインターセプター層だ。サーブレットフィルターがHTTPリクエストをラップするのと同様に、どのコントローラーやサービスからの呼び出しであっても一箇所でチェックが走る。
アドバイザーの実装
クレジットカード番号(13〜16桁)とAPIキー(sk-プレフィックス)を検知して[REDACTED]に置換するアドバイザーの実装例が以下だ。
public class OutputGuardrailAdvisor implements CallAdvisor {
private static final Logger log = LoggerFactory.getLogger(OutputGuardrailAdvisor.class);
private static final List<Pattern> SENSITIVE = List.of(
Pattern.compile("\\b\\d(?:[ -]?\\d){12,15}\\b"), // カード番号形式(13〜16桁)
Pattern.compile("\\bsk-[A-Za-z0-9]{16,}\\b")); // sk-で始まるAPIキー
@Override
public String getName() { return "OutputGuardrailAdvisor"; }
@Override
public int getOrder() { return Ordered.LOWEST_PRECEDENCE; } // 最内側:生のモデル応答を最初に受け取る
@Override
public ChatClientResponse adviseCall(ChatClientRequest request, CallAdvisorChain chain) {
ChatClientResponse response = chain.nextCall(request);
ChatResponse original = response.chatResponse();
if (original == null) return response;
List<Generation> safeGenerations = new ArrayList<>();
boolean changed = false;
for (Generation generation : original.getResults()) {
String text = generation.getOutput().getText();
String cleaned = text == null ? null : redact(text);
if (cleaned == null || cleaned.equals(text)) {
safeGenerations.add(generation);
} else {
safeGenerations.add(new Generation(new AssistantMessage(cleaned), generation.getMetadata()));
changed = true;
}
}
if (!changed) return response;
log.warn("Output guardrail redacted sensitive content from the model reply");
ChatResponse safe = ChatResponse.builder().from(original).generations(safeGenerations).build();
return response.mutate().chatResponse(safe).build();
}
private String redact(String text) {
String result = text;
for (Pattern pattern : SENSITIVE) {
result = pattern.matcher(result).replaceAll("[REDACTED]");
}
return result;
}
}
getOrder()にLOWEST_PRECEDENCEを指定している点が重要だ。これによりこのアドバイザーが最内側(innermost)に配置され、生のモデル応答を最初に受け取る。チャット履歴やログ記録といった外側のアドバイザーには、常にリダクション済みのテキストのみが渡される。
また、ChatResponse.builder().from(original)でトークン使用量などのメタデータを保持したまま新しいレスポンスを構築し、response.mutate().chatResponse(safe).build()で返している点も、実装上の細かい配慮だ。
ChatClientへの登録
アドバイザーはChatClient構築時に一度だけ登録する。これ以降、このクライアント経由の全呼び出しが自動的にガードされる。
@Configuration
public class ChatClientConfig {
@Bean
public ChatClient chatClient(ChatClient.Builder builder) {
return builder
.defaultAdvisors(new OutputGuardrailAdvisor())
.build();
}
}
呼び出し元は従来通りchatClient.prompt().user(question).call().content()と書くだけでよく、ガードレール処理を意識する必要がない。入力フィルタも併用する場合は、同じdefaultAdvisors()にSafeGuardAdvisorを追加すればよい。
スタブモデルを使ったテスト
テストにはAPIキー不要のスタブモデルを使用する。ラムダでChatModelを実装し、任意のテキストを返す固定応答モデルとして動作させる。
private String ask(String modelReply) {
ChatModel stubModel = prompt ->
new ChatResponse(List.of(new Generation(new AssistantMessage(modelReply))));
return ChatClient.builder(stubModel)
.defaultAdvisors(new OutputGuardrailAdvisor())
.build()
.prompt()
.user("What do you have on file for me?")
.call()
.content();
}
@Test
void redactsCardNumber() {
assertThat(ask("Your card 4111 1111 1111 1111 is on file."))
.isEqualTo("Your card [REDACTED] is on file.");
}
@Test
void redactsApiKey() {
assertThat(ask("Use key sk-abc123def456ghi789jkl for access."))
.isEqualTo("Use key [REDACTED] for access.");
}
@Test
void leavesSafeReplyUntouched() {
assertThat(ask("Your order ships tomorrow."))
.isEqualTo("Your order ships tomorrow.");
}
ユーザーの質問はすべてのテストで同じ無害な文だ。これは記事の主旨を体現している——リスクは入力ではなく、あくまで出力側にある。3テストとも通過し、実行結果は以下の通りだ。
Model reply : Your card 4111 1111 1111 1111 is on file.
Caller receives: Your card [REDACTED] is on file.
Model reply : Use key sk-abc123def456ghi789jkl for access.
Caller receives: Use key [REDACTED] for access.
Model reply : Your order ships tomorrow.
Caller receives: Your order ships tomorrow.
[INFO] Tests run: 3, Failures: 0, Errors: 0, Skipped: 0
まとめ
この実装は「多層防御(defense in depth)」の一層として位置づけられる。入力フィルタと組み合わせること、そして何よりモデルにユーザーが見てはいけないデータをそもそも与えないことが最も強い対策だと記事は強調している。出力ガードはあくまでセーフティネットだ。
詳細はSafeguarding LLM Output in Spring AIを参照していただきたい。




