9月22日、TechTargetが「Jev decision model touted as quicker, cheaper LLM alternative」と題した記事を公開した。この記事では、TypeSafe AIが開発した決定特化型モデル「Jev」がLLMより高速・低コストな代替手段として開発者の注目を集めていることを紹介している。
LLMを「判断役」として使うのは贅沢すぎる
AIエージェントを構築する開発者が直面する課題の一つが、コストと速度だ。チャット応答の生成だけでなく、「このコンテンツは関連があるか？」「このユーザーのリクエストをどのルートに流すか？」といった単純な判断にまでフル機能のLLMを使うのは、計算資源の無駄遣いになりうる。
TypeSafe AIが9月15日にステルスから公開した「Jev」は、この問題に正面から向き合ったモデルだ。Jevはテキスト生成を行わない。返せる値は以下の3種類のみに絞られている：
- nouls（何かがどれだけ真であるか）
- scores（段階的な採点結果）
- choices（多肢選択の回答）
Ned in the CloudのNed Bellavance氏は、この設計をDaniel Kahnemanの「ファスト＆スロー思考」モデル（著書『ファスト&スロー』）で説明する。LLMが「システム2（熟慮的・非決定論的）」だとすれば、Jevは「システム1（反射的・即時的）」として機能する。
「Jevとのインタラクションは、プログラムや自動化ルーティンに追加する関数のようなものだと考えてほしい。会話したり、コードを書いてくれたりするものではない。何かを分類したい、スコアを付けたい、yes/noの判断を得たい、そういった用途にJevは向いている」（Bellavance氏）
価格差が圧倒的
Jevの最大の訴求点の一つはコストだ。TypeSafe AIのブログによると、Jevの価格は入力トークン100万件あたり$0.042、出力トークンは$0.00。同ブログの比較表では既存の主要LLMと桁が二つ以上違うと示されている。
※編集部の考察：元記事に記載された比較対象モデル名「Claude Fable 5.1」は現時点で正式な製品名として確認できなかったため、原文のまま引用することを避け、表現を改めた。元記事の比較表の詳細は原文を直接参照されたい。
AIオブザーバビリティ基盤ベンダー・ArizeのデベロッパーリレーションズヘッドであるLaurie Voss氏は、Jevの特徴として「事前学習が不要」な点を挙げる。
「長年、企業は小規模モデルをファインチューニングして決定モデルを作り、安価・高速に判断を行ってきた。Jevの大きな飛躍は、それをファインチューニングなしに、プロンプトだけで実現できる点だ。特に学習データのない新規アプリにとって、採用ハードルが劇的に下がる」（Voss氏）
GitHubには同様にLLMの冗長なトークン出力を抑えようとするリポジトリ（ponytailやcavemanなど）も存在するが、Jevは独立したモデルとして動作する点が異なる。
毎秒10回の決定ループ
速度面での差異も大きい。OmdiaのアナリストTorsten Volk氏によれば、Jevは複数の質問と状態更新からなる決定ループを毎秒10回実行できる。従来のLLMでは同じ処理に複数秒かかる。
「何秒かかるかは一概には言えないが、仮に1秒だとしても、Jevはすでに10倍速い。複数の決定ツリーとコンテキスト要因を含む複雑なワークフローを超高速で処理できる」（Volk氏）
Volk氏が示す活用例がわかりやすい。毎朝、テックニュースを全件チェックして「関連あり/なし」「24時間以内か否か」を判断させる処理を想定すると、Jevが「無関係」と判断した記事はそこで処理を打ち切り、後続のLLMへのトークンを消費しない。「関連あり」と判断したもののみLLMへ引き渡す——このアーキテクチャで全体コストと速度が大きく変わりうる。
Vercelは自社のAI Gatewayサービスでのトライアル提供を行っており、ローンチ後24時間以内に有料AIゲートウェイユーザーの13%がJevを使用したとブログで報告している。これは過去のモデルローンチと比較して2倍の採用速度だという。※なお元記事にはトライアル期間の終了日として「9月25日まで」と記載されているが、本紹介記事の公開時点でその期間はすでに終了している可能性がある。最新の提供状況はVercel公式サイトを確認されたい。
アプリの再設計が必要になる可能性
Voss氏は「JevはLLMのドロップイン代替ではない」と指摘する。既存アプリがLLMに行わせている「判断・ルーティング・テキスト生成」をまとめて置き換えるものではなく、前二者をJevに切り出し、テキスト生成だけをLLMに担わせる形に再設計することで恩恵が得られる。
ゲームアプリやガードレール生成といったリアルタイム性が求められる用途で特に実用的になりうると、Bellavance氏は述べている。
注意点：決定論的ではない
Jevにはトレードオフもある。出力の形式は決定論的だが、内容は非決定論的だ。「yes」と信頼区間を返すが、同じ入力で必ず同じ答えが返る保証はない。また、LLMのように推論プロセスを出力しないため、人間が監査・評価する「human-in-the-loop」なワークフローには向かない。
「Jevは自動化ワークフローでLLMを置き換えうる独自カテゴリになりうると思う。ただし……決定論的なフローが必要なら、Jevはそれを提供しない」（Bellavance氏）
Voss氏は、主要モデルラボが同種の決定モデルを「すぐに」リリースするとみており、Jevが参入障壁を長期維持できるかには疑問符を付けている。
詳細はJev decision model touted as quicker, cheaper LLM alternativeを参照していただきたい。
