2025年10月13日、InfoWorldが「The best place to run AI agents」と題した記事を公開した。AIエージェントをクラウドとオンプレミスのどちらで動かすべきかという実務的な意思決定の判断基準を、コスト・ガバナンス・レイテンシ・運用負荷の観点から整理した内容だ。
AIエージェントの実運用が現実になりつつある今、「クラウドで動かすか、自社データセンターで動かすか」という問いに直面するエンジニアやアーキテクトは多い。記事はその問いに正面から答えるものだが、冒頭で重要な指摘がある。「クラウドかオンプレか」という二項対立の問い自体が、そもそも正しく設定されていない、という点だ。
エージェントは単一のワークロードではない。モデル推論、ツール実行、メモリ状態管理、インテグレーションロジックが組み合わさった集合体であり、それぞれのコンポーネントが最適な実行場所を持つ。LangChainやAutoGen、Rayといったエージェントフレームワークが実行環境を抽象化しようとしているのも、この複合性が背景にある。記事はイデオロギーやベンダーの営業資料で実行環境を決めると「すぐに高くつく」と明言しており、問いを再定義することが意思決定の出発点だと論じている。
つまり正しい問いは「どこで動かすか」ではなく、「このエージェントの処理量・データ感度・レイテンシ要件・成長軌道は何か、そしてその特性に合う実行場所はどこか」だ。この問い直しが、以降のフレームワーク全体を貫く軸になっている。
クラウドが向いているケース
クラウドの最大の強みはエラスティシティ（弾力的なスケーリング）とmanaged servicesの組み合わせだ。大半のエージェントワークロードはバースト性（突発的な負荷の増減）を持つため、ピーク負荷に合わせてハードウェアをサイジングするよりも、従量課金のほうが経済合理性が高い。
向いているユースケースとして挙げられているのは以下のとおりだ：
- カスタマー向けアシスタント、ワークフローエージェント、ドキュメントトリアージなどフロントオフィス系の用途
- 開発サイクルが速く、SaaSや既存データサービスとの連携が必要なケース
- フロンティアモデル（GPT-4クラスの最先端モデル）をDay 1から使いたいケース
一方でデメリットも明確だ。利用量が高く安定的になると、トークン単価課金のコストが線形に増加し、利益率を圧迫する。また、機密データを扱うエージェントがクラウドプロバイダーのテナント環境を通過することは、コンプライアンス上のリスクになる。さらに、プロバイダー固有のエージェントフレームワークやモデルエンドポイントへの依存（ロックイン）は「構築は簡単だが解消は痛い」と表現されている。
オンプレミスが向いているケース
オンプレミスが合理的になる条件として、記事は3つのパターンを挙げている：
- 高負荷・高稼働率のインファレンスが継続する場合。GPU償却費＋電力＋運用コストがクラウドの従量課金を下回るポイントが存在する（特にLlamaやMistralといったオープンウェイトモデルを使う場合）
- データレジデンシー（データ国内保管義務）や主権要件が厳しい場合。患者記録、金融取引、機密情報を扱うエージェントは、自社のセキュリティ境界内に完結させることで監査や規制対応が格段に楽になる
- ローカルシステムとのレイテンシが重要な場合。工場フロア、病院ネットワーク、トレーディングシステムなどが例として挙げられている
ただしコストの落とし穴も明確だ。現世代の推論向けGPUは1基で数万ドル規模であり、ピーク負荷に合わせてサイジングしなければならない。稼働率20%のオンプレGPUは「働かなくても家賃を払い続けるマシン」と記事は表現している。また、電力・冷却・ハードウェアリフレッシュ・カーネルとドライバーの更新・GPU運用スキルの確保といった全スタックを自社で抱えることになる。
「プライベートクラウド」という第三の選択肢
記事が特に有用なのは、パブリッククラウド・プライベートクラウド・オウンドハードウェアの3つを明確に区別している点だ。この3つを混同することが、現場での誤った意思決定を招くと指摘している。
- パブリッククラウド：ハイパースケーラーのモデルAPIとエージェントランタイム。速さとスケールを優先し、コントロールを手放す
- プライベートクラウド：VMware、OpenStack、OpenShiftベースの環境。コロケーション施設内のベアメタル展開として提供されることも増えており、自社管理ハードウェア上でクラウドライクな自動化とセルフサービスを実現する。多くのエンタープライズにとって「現実的な中間点」と記事は位置づけている
- オウンドハードウェア：高稼働率では最もトークン単価が低くなるが、最も運用負荷が高く、エージェントが必要とするエラスティシティを失う
記事が示すルール・オブ・サムは明快だ：
変動的なワークロードとフロンティアモデルはパブリッククラウドへ。ガバナンス制約のある安定した社内エージェントフレームワークはプライベートクラウドへ。ボリューム・レイテンシ・規制要件のすべてが揃ったときにのみオウンドハードウェアを選べ。
実際に「勝っている」企業がやっていること
記事が結論として強調するのは、「クラウドかオンプレか」という二項対立ではなく、エージェントごとのプロファイルマッピングだ。具体的には：
- 処理量、データ感度、レイテンシ許容度、成長軌道をエージェントごとに評価する
- それぞれの特性に合った実行場所を選ぶ
- 経済合理性が変わったときにワークロードを移動できるポータブルな設計に投資する
ポータブルな設計という観点では、特定クラウドのプロプライエタリAPIに直接依存するのではなく、LangChainやRay Serveのような抽象レイヤーを挟むことが、実行場所の移行コストを下げる現実的な手段として業界で広く議論されている点とも合致する。
「場所の問いは、この宿題を終わらせれば自ずと答えが出る。そしてたいていの答えは『ミックス』だ」というのが記事の結論である。
詳細はThe best place to run AI agentsを参照していただきたい。
