9月18日、Adam Davidsonが「I built a hybrid AI setup that keeps my data local but lets me use Claude for hard jobs」と題した記事を公開した。この記事では、ローカルLLMをメインに使いつつ、処理が困難なタスクだけClaudeにフォールバックするハイブリッドAIセットアップの構築方法について詳しく紹介されている。
なぜローカルファーストなのか
クラウドAIを常時使う場合、APIコスト・レート制限・データプライバシーの3つの問題が常につきまとう。一方、ローカルLLMだけに閉じると、大規模な推論や長いコンテキストが必要なタスクで詰まる。
Adam Davidsonが構築したのは、この両者のいいとこ取りをする構成だ。単一のチャットUI（Jan）から、ローカルモデルとClaudeの両方を使い分けられる仕組みで、どちらを使うかは常に手動で選択する。プライバシー上のリスクから、クラウドへの自動フォールバックはあえて設定していない。
セットアップの3層構成
構成要素はシンプルに3つだ。
- ローカルモデル層: Ollama + Qwen 3.8 / Gemma 4（RTX 5070 Ti上で動作）
- クラウドモデル層: Claude（Anthropic API経由）
- フロントエンド: Jan（両方のモデルを束ねるUIアプリ）
JanはオープンソースのデスクトップAIチャットアプリで、Ollamaなどのローカル推論バックエンドと、AnthropicやOpenAIなどのクラウドAPIの両方を単一のUIから切り替えて使えるのが特徴だ。Ollama自体はローカルでLLMを手軽に動かすためのランタイムとして広く使われており、初見の読者にはまずこの2ツールの組み合わせがこのセットアップの核心にあると理解しておくとよい。
ローカルモデルのうちQwen 3.8は日常的な処理の主力として使用されている。Gemma 4は同じくローカルで動作するモデルとして列挙されているが、記事中での出番は限定的で、主に用途の選択肢として紹介されている位置づけだ。
ここで重要な注意点がある。JanからOllamaに接続する際、エンドポイントは http://localhost:11434 ではなく、**http://localhost:11434/v1** と /v1 を末尾に付けなければJanが認識できない。
ClaudeのAPI接続はJanの設定画面からAnthropicのAPIキーを追加するだけで完了する。また、Anthropicコンソール側で月次の上限額を設定しておくことを強く推奨している。推論ループが想定以上に長引いた場合の予期せぬ高額請求を防ぐためだ。
なお、ここで使うClaudeのAPI接続は、ブラウザや公式アプリ経由のサブスクリプションとは別個のものである点に注意が必要だ。
ローカルで9割、Claudeで残り1割
DavidsonはQwen 3.8が特に優秀だと評価している。「考えすぎ」と批判されがちなモデルだが、その傾向が小規模モデルとしての高い能力に直結しているという見方だ。
実際の用途として、データ処理・仕様書の要約・小規模スクリプト生成などはすべてローカルで完結する。医療データのシミュレーション、実際の税務書類、業務データでのテストでも、ローカルモデルが失敗するのは「世界知識が足りない場合」だけで、数値の幻覚や転記ミスはほとんど発生しなかったと報告している。
コスト面でも優位だ。Qwen相手に15回連続でクエリを投げてもかかるのは電気代だけ。Claude APIなら1クエリごとに課金される。インターネット不通時でも動くという点も実運用では効いてくる。
Claudeが必要になるのはどんなとき
27Bパラメータのローカルモデルには明確な限界がある。Davidsonが経験的に「Claude案件」と判断するのは以下のようなケースだ。
- 極端に長いコンテキストウィンドウが必要なタスク（ローカルモデルはコンテキストが溢れると幻覚が増大するか、完全に停止する）
- 複雑な推論を伴う問題
- 大規模なリファクタリング作業
- モデルの学習データ量に依存する「知識量」が重要なタスク（数兆パラメータ規模のモデルとの知識量の差は埋めようがない）
自動フォールバックを実装したい場合は、プロンプト長やコンテキスト充填率などを基準にしたルーター層を挟む構成も技術的には可能だ。ただし記事では、何をクラウドに送るかを意識的にコントロールすることを優先し、手動切り替えを採用している。
2年前との比較
Davidsonは「2年前、ローカルAIのコーディングエージェントは正直がっかりするものだった。今は5070 Ti上のローカルモデルが、意図通りのPythonコードをきれいに生成できる」と述べている。Claudeを頼る場面は依然としてあるが、ローカルでは手が届かない領域は確実に縮小している、という見立てだ。ハイエンドGPUの普及とオープンソースモデルの急速な品質向上が重なったことで、こうした「ローカル主体・クラウド補助」の構成が現実的な選択肢になってきた——この記事はその一つの実証例といえる。
詳細はI built a hybrid AI setup that keeps my data local but lets me use Claude for hard jobsを参照していただきたい。
