powered by TechFeed
表示モード
Deep Dive

GeminiがAIエージェントの「画面操作」を標準機能化 — 安全設計でエンタープライズ導入を狙うGoogleの本気度

6月25日、The Next Webが「Gemini 3.5 Flash can now see and control your screen, and Google wants enterprises to trust it」と題した記事を公開した。GoogleがAIエージェントによる画面操作機能「Computer Use」をGemini 3.5 Flashの組み込みツールとして統合したことは、単なる機能追加ではない。「AIが画面を見て操作する」能力をモデルの標準装備とし、エンタープライズ市場での実用化を本格的に狙う動きだ。

6月25日、The Next Webが「Gemini 3.5 Flash can now see and control your screen, and Google wants enterprises to trust it」と題した記事を公開した。GoogleがAIエージェントによる画面操作機能「Computer Use」をGemini 3.5 Flashの組み込みツールとして統合したことは、単なる機能追加ではない。「AIが画面を見て操作する」能力をモデルの標準装備とし、エンタープライズ市場での実用化を本格的に狙う動きだ。


Computer UseがFlashの「組み込みツール」に格上げ

GoogleはComputer Use機能をGemini 3.5 Flashに組み込みツールとして統合した。Computer Useとは、AIエージェントが画面を「見て」、クリック・入力・スクロールといった操作を自律的に行う機能だ。ブラウザ、モバイル端末、デスクトップを横断して動作する。

これまでは専用のスタンドアロンモデルを個別に呼び出す必要があった。新しい統合により、開発者はFlash内でコード実行・検索・ファンクションコールと並ぶひとつのツールとしてComputer Useを有効化できる。2モデルを組み合わせていたワークフローが1モデルに集約された形だ。

利用できるインターフェースはGemini APIと、Vertex AIをリネームしたGemini Enterprise Agent Platform(従量課金制)。FlashはGoogleのモデルラインナップの中でも低コスト寄りの位置づけであり、大規模自動化での利用コストを抑えやすい。

なお、旧スタンドアロンモデルはOnline-Mind2Webベンチマークで約70%の精度を達成していたが、組み込みツール化後の同ベンチマークスコアはまだ公表されていない。


エンタープライズ用途と安全設計

Googleが想定する主なユースケースは、継続的なソフトウェアテスト(エージェントがアプリを操作して機能を検証)や、フォーム入力・ダッシュボードからのデータ抽出・社内ツールのナビゲーションといった複数ステップのブラウザ作業の自動化だ。

そのうえで、今回の発表でGoogleが最も力を入れているのが安全性の設計である。

焦点は「プロンプトインジェクション」対策にある。プロンプトインジェクションとは、Webページやドキュメントに埋め込まれた悪意ある指示がAIエージェントをだまし、意図しない操作を実行させる攻撃手法だ。研究者たちはすでにこの手法でAIエージェントを操作できることを繰り返し実証しており、理論上のリスクではない。Googleはこの攻撃に特化したadversarial training(敵対的学習)を実施したとしている。

さらに、オプトイン式の企業向けガードレールを2種類用意している:

  • 確認要求ガードレール:フォーム送信・購入・データ削除など「取り消し不能」と判断された操作の前に、ユーザーの明示的な承認を要求する
  • 自動停止ガードレール:間接的なプロンプトインジェクションの試みを検知した場合、エージェントの実行を自動で停止する

注目すべきは、どちらもデフォルトではなくオプトインである点だ。Googleは「多層的な防御(defense-in-depth)」アプローチを推奨しており、ドキュメントでは「個々のガードレール単体では十分ではない」と明記している。他のAI機能の宣伝文句と比べると、率直な表現だ。


競合との立ち位置

Computer Useカテゴリを切り拓いたのはAnthropicで、Claude Computer UseはブラウザだけでなくOSやファイルシステムとも対話できる。デスクトップワークフローの汎用性ではAnthropicが先行している。OpenAIもこの領域に参入しており、3社が競い合う構図になっている。

Googleとしては、Chrome Enterprise向けのエージェント型ブラウジング機能を今年すでに投入しており、今回のFlash統合はその延長線上にある。Chrome外のあらゆる画面に対象を広げた格好だ。

エンタープライズ市場での勝負どころは「ボタンをクリックできるか」ではなく、「規制環境の中で安全に実行できるか」に移りつつある。


現状の限界

Computer Useは全般的にまだ発展途上の技術であり、実運用上のいくつかの課題が残っている:

  • 動的コンテンツへの対応:JavaScriptで遅延読み込みされる要素や、操作タイミングに依存するUIは誤操作の原因になりやすい
  • 予期しない割り込みへの脆弱性:ポップアップ、Cookie同意バナー、セッションタイムアウトなど、想定外の画面状態に遭遇すると処理が止まりやすい
  • CAPTCHAの突破:ボット検出を目的としたCAPTCHAはAIエージェントにとっても障壁となる
  • 未学習レイアウトへの汎化:トレーニングデータに含まれていないUIデザインや業種固有の社内ツールでは精度が落ちやすい

「組み込みツール化」はGoogleが成熟度に一定の自信を持ったシグナルであり、一方でオプトイン式のガードレールは「まだ無人運転には適していない」という認識の表れでもある。公表されたadversarial trainingの詳細は現時点でブログポストの記述のみで、研究論文やレッドチームの結果は公開されていない。

詳細はGemini 3.5 Flash can now see and control your screen, and Google wants enterprises to trust itを参照していただきたい。