10月14日、Tejas Kumарが「Local LLM vs Cloud: Is an $18,000 AI Server Worth It?」と題した記事を公開した。10人規模のスタートアップが自作した1万8000ドルのローカルAIサーバーをめぐり、X上で43万回以上閲覧される議論が巻き起こった。記事では、そのコスト試算と性能比較を詳細に検証した結果、「DeepSeek APIと比べると元を取るのに10年かかる」という衝撃的な数字が導き出される一方、ローカル構成が合理的なケースも明確に存在するという、単純な勝敗では割り切れない結論が示されている。
X上で炎上した「1万8000ドルのサーバー」
10月12日、David HendricksonがXに投稿した。10人規模のスタートアップが自社用AIサーバーを1万8000ドルで自作したという内容で、43万回以上閲覧された。
構成は以下の通りだ。
- CPU: AMD Threadripper
- GPU: AMD Radeon AI PRO R9700 × 4（各32GB VRAM、定価1,299ドル/枚）
- VRAM合計: 128GB
- 動作モデル: Qwen3.8 Next Flash、DeepSeek V4 Flash（※いずれも本記事執筆時点のモデル名称。最新情報は各公式サイトを参照されたい）
- 同時セッション数: 16
スループットは16セッション合計で538.5トークン/秒（1セッションあたり約34トークン/秒）。DeepSeek V4 Flashは8ユーザーで1人あたり20トークン/秒だ。
これに対してXの反応は割れた。VCのLior Messika（Eden Block創業者）は「ローカルAIはスタートアップに意味をなさない」と反論。一方でSebastian Aaltonenは逆側から計算した——OpenAI Proプランを10人分用意すると月2,000ドル、9ヶ月で同額になるが、モデル品質は「1.5年前のフロンティアモデル相当」だと指摘した。
コスト試算：結論は「ほぼ負け」
記事筆者が10人チームの2年間コストを試算した結果が以下だ（米国電力料金、1日8時間稼働で電気代は月約48ドルと想定）。
| 経過月 | サーバー | $200/人×10席 | $100/人×10席 | DeepSeek API |
|---|---|---|---|---|
| 0 | 18,000 | 0 | 0 | 0 |
| 3 | 18,100 | 6,000 | 3,000 | 600 |
| 9 | 18,400 | 18,000 | 9,000 | 1,800 |
| 12 | 18,600 | 24,000 | 12,000 | 2,400 |
| 24 | 19,200 | 48,000 | 24,000 | 4,700 |
（単位: ドル）
Claude MaxやChatGPT Pro（月200ドル）と比べると約9ヶ月で逆転する。ただし、これはサーバーを24時間365日フル稼働させた場合の想定であり、サーバー製作者本人も「24/7稼働を前提にしている」と認めている。
最大の問題はDeepSeek自身のAPIとの比較だ。DeepSeek APIは入力100万トークンあたり0.30ドル、出力1.20ドル。開発者10人がエージェントを回す想定で計算すると月約196ドルになり、サーバーの元を取るのに約122ヶ月（10年）かかる計算になる。しかもその間、APIが提供するのはV4.1（※本記事執筆時点のモデル名称）だが、サーバーのVRAMにはV4.1が乗り切らずV4（旧版）しか動かせない。
さらにSam Altmanは「AIの利用コストは12ヶ月ごとに約10分の1になる」と述べている。コスト節約を目的にサーバーを買うなら、急激に下がり続ける価格に賭けることになる。
アイドル時間が最大のコスト要因
筆者が自ら体験した教訓として、GPUはアイドル中も稼働中もコストは変わらないという点を挙げている。
Hugging FaceのInference Endpointで2枚のNVIDIA RTX PRO 6000を時間5.50ドルで借りてドイツ語テキスト生成を試みた際、同時処理数によってコストは大きく変わった。なお以下の表に登場する「Kolibri」は、筆者がこの検証に用いたローカルLLMモデルの名称である。
| 処理方式 | 1件あたりのコスト |
|---|---|
| Kolibri、128件同時 | $0.008 |
| Kolibri、16件同時 | $0.030 |
| Claude Sonnet 5.5（Batch API） | $0.036 |
| Claude Sonnet 5.5（通常価格） | $0.071 |
（※Claude Sonnet 5.5など表中のモデル名称は本記事執筆時点のものである）
16件同時処理ではClaudeのBatch APIとほぼ同コストだが、128件同時では4分の1以下になる。1万8000ドルのサーバーも同じコスト曲線を描く——ただしGPU時間を前払いで購入したかたちだ。午後3時に16人が使えば割安だが、午前3時や半数がカンファレンス不在の週は、GPUが遊んでいても費用はかかる。
モデル性能の差は実際に出た
Artificial Analysis Intelligence Indexによるスコア比較は以下の通りだ（※モデル名称は本記事執筆時点のもの）。
| モデル | スコア |
|---|---|
| Claude Opus 5.5 | 58 |
| GPT-6.1 Sol (Max) | 52 |
| GLM-5.3-Flash | 42 |
| DeepSeek V4.1 Flash | 39 |
| DeepSeek V4 Flash（サーバー搭載） | 34 |
筆者自身のベンチマークでもこの差は再現された。ドイツ語テキスト生成の136件ブラインド比較では、ローカルモデル（Kolibri）がClaude Sonnet 5.5に全敗した。音声メモアプリのベンチマークでは、Qwen3-4Bが11モデル中最下位（5.10点、1位は7.23点）となり、さらにハルシネーション（事実誤認）も発生した——「ひき肉を12分炒める」という会話が「12分以内に録音を確認する」というタスクに変換されていた。
ただし同じベンチマークの1位はオープンウェイトモデルのKimi K2.6（Moonshot AIが開発するオープンウェイトLLM）で、GPT-5.5 ProやClaudeを上回っている。汎用指標での差が、特定タスクでは逆転することもある。
ローカルが合理的なケース
筆者が実際に経験した具体例が2つある。
1つ目はプライバシー要件。妻との27分間の会話（引越しや誕生日、ベルリンでのTeslaの価格など）を音声メモとして処理しようとしたところ、Appleのオンデバイスモデルが「安全でない」として拒否した。そこで2.3GBのQwen3-4BをiPhone上で動かし、データをサーバーに送らずに処理することで解決した。
2つ目はファインチューニング。自分のポッドキャスト向けAI検索を作った際、GPT-4oのAPI費用で運営が危うくなった。そこでMistral 7Bを自分のノートPCでファインチューニングし、コストを下げながら精度も向上させた。
ハイブリッド構成という現実解
件のサーバー製作者自身もスレッドで明かしている——「フロンティアモデルをプランナーにして、ローカルモデルをエグゼキューターにするのが正解。リクエストの80%はDeepSeek V4 Flashに回せている」。
Xでローカル派のMiaも「最近はハイブリッドが正解」としながら「Claudeも必要で、よく使っている」と認めている。
コスト試算の数字だけ見れば「ローカルはほぼ負け」だが、実態はより複雑だ。筆者の結論はシンプルにまとめられる。データを社外に出せない業務にのみローカルサーバーを使い、高度な思考が必要な作業にはフロンティアモデルのサブスクを使い続ける——件のサーバー製作者が実際にやっていることも、ほぼそれだ。「元を取るのに10年」という数字はあくまでDeepSeek APIとの一対一比較であり、用途を絞ったハイブリッド運用が現時点での現実解といえる。
詳細はLocal LLM vs Cloud: Is an $18,000 AI Server Worth It?を参照していただきたい。
