6月25日、Digital Trendsが「Gemini in Chrome can now see exactly what you're looking at on screen」と題した記事を公開した。ChromeブラウザのGeminiが画面上のコンテンツを直接認識・参照できる新機能「Select from screen」と、Gemini 3.5 FlashへのComputer Use統合——「AIに文脈を渡す摩擦をゼロにする」という設計思想が、コンシューマーと開発者の両面で同時に具体化されつつある。
「画面のここを見て」がそのまま伝わる「Select from screen」
GoogleはChrome 149のリリースに合わせ、Gemini in Chromeに「Select from screen」機能を追加した。ユーザーは現在開いているタブ上の任意のテキストや画像をマウスで選択するだけで、その内容をGeminiのプロンプトに自動添付できる。
操作はシンプルだ。Gemini in Chromeの「+」メニューからこの機能を呼び出すと、ブラウザ内蔵のスクリーンショットツールのような感覚で選択範囲を指定できる。選択した内容はそのままGeminiへの質問コンテキストとして渡される。
Varun Mirchandani / Digital Trends
これまでは「このページのこの部分について聞きたい」という場面で、該当箇所をコピーしてチャット欄に貼り付けるか、内容を言葉で説明し直す必要があった。Select from screenはその手間を丸ごと省く。技術ドキュメントのエラーメッセージをそのまま投げる、グラフや図表に対して質問する、といった使い方がすぐに思い浮かぶ。
なお、元記事によればブラウザを再起動するまでこの機能が表示されないケースもあるとのことで、有効になっていない場合は一度Chromeを再起動して確認することが推奨されている。
Gemini in Chrome自体は2024年後半からGoogle Oneサブスクライバー向けを中心にロールアウトが進められてきた機能であり、今回のChrome 149はその安定版アップデートに位置づけられる。Select from screenが自分の環境で利用可能かどうかは、Chromeを最新版に更新した上でGeminiパネルの「+」メニューを確認するのが最も確実な方法だ。
Gemini 3.5 FlashにComputer Useが統合
同日、Googleはもう一つの更新を発表している。開発者向けに、**Gemini 3.5 Flash** へのComputer Use機能の直接統合だ。
Computer Useとは、AIがブラウザ・モバイルアプリ・デスクトップ環境を視覚的に認識し、クリックや入力といった操作を自律的に実行できる機能を指す。AnthropicがClaude Computer Useを2024年10月に公開して以来、各社が追随している領域だ。OpenAIのOperator、MicrosoftのComputer Useエージェントなどが相次いで登場しており、GoogleもGemini 1.5系でのComputer Use対応を経て、今回Gemini 3.5 Flashへの統合へと進化させた形となる。
Googleによれば、今回の統合により別モデルを呼び出すことなく、Gemini 3.5 Flash単体でsee（画面認識）→ reason（判断）→ act（操作）のループを実行できるようになる。従来の実装では複数モデルを組み合わせるアーキテクチャが一般的であり、レイテンシやコストの面で課題があった。単一モデルへの統合はその両方を改善する可能性がある。想定ユースケースとしてGoogleが挙げているのは、ソフトウェアテスト、エンタープライズワークフロー、そして複数ステップにまたがる自動化タスクだ。
「チャットボット」から「文脈を持つアシスタント」へ
この2つの更新に共通するのは、AIが「今ユーザーが何を見ているか」を起点に動くという設計思想だ。
Select from screenはコンシューマー向け、Computer Use統合は開発者・エンタープライズ向けと対象層は異なるが、どちらも「AIに文脈を渡す摩擦を減らす」という方向性に収束している。従来のチャットボット体験——何を聞きたいかをゼロから言語化してAIに投げる——からの脱却を、GoogleはChromeというコンシューマー最前線のプロダクトを通じて実装しようとしている。
Chromeは世界シェア65%超のブラウザであり（※編集部の考察：StatCounterの2025年時点の数値に基づく概算）、ここにAIの「画面認識」機能が標準的に組み込まれていくことの意味は小さくない。AIアシスタントが「聞かれたことに答える存在」から「今何が起きているかを把握した上で動く存在」へと変わる転換点として、今回の発表は位置づけられる。
詳細はGemini in Chrome can now see exactly what you're looking at on screenを参照していただきたい。
