10月18日、startuphub.aiが「Featherless AI Cuts $150K Token Bill to $10K」と題した記事を公開した。月間15万ドルのトークン費用を1万ドル未満へと圧縮した実践事例だ。削減率は93%超。そのために最初に行ったのは、最先端モデルへの乗り換えでも独自インフラの構築でもなく、「APIキーを分割して計測できる状態にする」という地味な一手だった。
LLM推論コストの高騰は、スケールアップ局面の開発チームが共通して直面する課題だ。OpenAIやAnthropicの高性能APIに依存しつつ、トークン消費量が膨らんでいく構造は珍しくない。そうした状況に対して、Featherless AIのCEOであり、Linux Foundation傘下のRWKVプロジェクトコントリビューターでもあるEugene Cheah氏が、AI Engineerのワークショップで具体的な削減手法を解説した。
月15万ドルを1万ドル未満に——実際の数字
Cheah氏が紹介した事例は、5人の開発者が月間1160億トークンを処理し、月15万ドルを支払っていたチームだ。これをシングルノードで1万ドル未満に抑えることに成功した。
Featherlessの最大顧客の規模感も示されており、512台のAMD MI325 GPU上で4800億パラメータのMixture-of-Expertsモデルを動かし、1日2兆トークンを処理。パフォーマンスの比較基準としてClaude Opus 4.8相当と元記事中では表記されており、単価は100万トークンあたり約0.30ドル（1日約6万ドル）という水準だという。
Cheah氏は前提として「この最適化手法が意味を持つのは、月間推論コストが1万ドルを超えているチームだけ」と明言している。それ以下の規模なら、複雑な最適化より素直にAPIを使う方が合理的だということだ。
最初にやること：APIキーを分割する
Cheah氏の第一のルールは「計測してから最適化する」だ。
Featherlessに相談してくる開発チームの**30〜40%**が、組織全体で1つのAPIキーを共有している状態で来るという。これでは部門・チーム・ユースケース別のコスト追跡が不可能だ。
まずAPIキーをワークロード別に分割し、コストの内訳を可視化することが出発点になる。逆に言えば、これができていないチームは最適化の議論をする以前の段階にある。どのユースケースがコストを支配しているかが見えなければ、どこから手をつけるべきかも判断できない。
ワークロード別の「右サイジング」
コストの構造はワークロードの性質によって大きく異なる。Cheah氏は主に2種類に分類している。
エージェント系ワークロード（コーディングエージェント等）
- 長いコンテキストを使い、キャッシュを多用する
- リクエストのうち出力トークンに費やされるのは約**1%**のみ
- コストの大部分は繰り返しの入力とキャッシュ読み込みが占める
この場合の推奨パターンは「強いモデルが計画・レビューし、安くて速いモデルが実装し、再度強いモデルが確認する」という分担だ。Cheah氏は、チームが安いモデルに切り替えるのは「安い＝速い」場合に限られると指摘する。また、モデルを「fast」「smart」や部門機能別にラベリングすることで、プラットフォームオーナーがバックエンドを差し替えてもユーザー側の再教育が不要になると述べている。
インタラクティブなユーザートラフィックと、低速・低コストで済むCI/CDパイプラインをキーレベルで分離する手法も紹介されている。
プロセス系ワークロード（コールセンター、メールルーティング等）
- 短いコンテキスト・大量処理が特徴
- 「評価基準（eval）を定義し、それを通過する最安モデルを探す」だけでよい
- 特定ドメインでは、オープンモデルがクローズドモデルと比べて最大10倍安い
Cheah氏が具体例として挙げたのがStepFunのStep 5クラスのモデルだ。金融分野でフロンティアモデルに近い性能を持ちながら、アクティブパラメータ数は大幅に少ない。また、チャット出力機能を省いた「プレビュー専用のワンショット分類器」は元記事中で"Jeff"と呼ばれており、オープンソース版は"Simple Jeff"として公開されているという。通常の約10倍安く動作するとのことだ。
Step 5 Previewは6000億パラメータのMoEモデル（1トークンあたりアクティブ270億パラメータ、ネイティブ100万トークンコンテキストウィンドウ）で、10月15日にオープンウェイトが公開され、Featherlessでも同日からサービス提供される予定とのことだ。
コスト削減の前提：「計測できる状態」を作る
LLMコストの最適化は業界全体のテーマとなっており、モデルの小型化・蒸留・量子化といった技術的アプローチに注目が集まりがちだ。しかしCheah氏のアプローチが示すのは、それ以前の段階——すなわち「何に何のモデルを使っているかを計測できているか」——こそが最初のボトルネックになりうるという視点だ。コスト削減の手法そのものより、計測基盤の整備が優先される、という順序の問題として捉え直せる点は注目に値する。
※編集部の考察：APIキー分割はインフラ変更を伴わず即日実施できる施策でもある。大規模な推論コストを抱えるチームにとって、この地味な一手が最初の改善余地を生むことは多い。
詳細はFeatherless AI Cuts $150K Token Bill to $10Kを参照していただきたい。
