11月1日、The Decoderが「Google wants video AI to understand what people need as they work」と題した記事を公開した。Google、Stanford、Oxford、および複数の米国大学が共同で進めている研究段階のビデオAIエージェント「StreamVibe」が、作業中の人間を見守り、必要な瞬間にだけ介入するという新しいアシスタントの仕組みについて詳しく紹介されている。
「困ったときだけ助けて」という曖昧な指示をAIが解釈する
料理中や家具の組み立て中、AIアシスタントが「次はここを締めて」「その野菜は切りすぎ」と適切なタイミングで声をかけてくる——そんな体験を実現しようとしているのがStreamVibeだ。
従来のビデオAIアシスタントは「水が沸いたら教えて」のような明確なコマンドを前提に設計されている。そのため、「困ったときに助けて」といった暗黙の意図を扱うのが苦手で、すでに完了した手順を把握できずにアドバイスを繰り返したり、途中でユーザーが要求を変えても最初の指示に従い続けるという問題がある。
StreamVibeが解決しようとしているのは、この3つの課題だ。
- 明示的な指示（「〇〇になったら教えて」）
- 暗黙の意図（「困ったときに助けて」）
- 変化する要求（途中で「進捗確認」から「品質チェック」へ切り替えるなど）
アーキテクチャ：1秒ごとに「話すか黙るか」を判断
StreamVibeの中核はStreamVibe-VLというモデルで、Alibabaが開発したQwenシリーズのモデルをベースにしているとされる（元記事ではバージョン名が記載されているが、Alibabaの公開済みバージョン体系との整合性に不明点があるため、詳細は元記事を参照されたい）。このモデルは1秒ごとに「介入するか沈黙するか」を判断し続ける。
学習は2段階構成だ。最初の段階でタイミングと内容を学習させ、2段階目では**強化学習（RL）**を用いてモデルを「より控えめ」に調整する。強化学習とは、モデルが試行錯誤を通じて報酬を最大化するように学習する手法で、ここでは「不要な割り込みを減らす」という方向に挙動を誘導するために使われている。常に割り込んでくるアシスタントは誰も使わないため、この抑制チューニングが重要になる。
加えて、「どのリクエストが未処理か」「どのステップが完了済みか」を追跡する独立したメモリシステムが組み合わさっている。このメモリシステムが独立して存在することには重要な意味がある。モデル自身がすべての文脈を逐一保持しようとすると、動画が長くなるにつれてコンテキストが膨張し、処理コストの増大やエラーの連鎖を招く。外部のメモリとして切り離すことで、モデルは「今何が起きているか」の判断に集中しながら、過去の状態はメモリへの参照で補えるという設計になっている。類似のアプローチは、GoogleがProject Astraで探求しているリアルタイム環境理解とも共鳴する。
ベンチマーク：長時間動画で全モデルの性能が急落する
研究チームは評価のために、183時間超の日常生活・ソフトウェア操作の録画から約4,100件のサンプルを収録したベンチマークを構築した。Gemini 2.5 Flashが介入タイミングと発言内容の候補を生成し、4人の人間評価者が全会一致で承認した例のみを採用している。
StreamVibe-VLは、他のモデルと比較して応答タイミングと品質を10.7%改善し、メモリシステムの追加により積極的なインタラクションをさらに12.3%向上させると同時に不要な割り込みを削減するとされる。オープンソースモデルとの比較では大きく上回るが、Googleの独自モデルには複数のテストで及ばない（元記事に記載されているモデル名については、Googleの公開済み命名体系との整合性に不明点があるため、詳細は元記事を参照されたい）。
特に問題として浮かび上がったのが、長時間動画での性能劣化だ。モデルが自分自身の以前の応答を積み上げて処理を続けると、エラーが連鎖してコンテンツ品質指標が最大61.5%低下する。5分を超える動画では、すべてのモデルが適切な介入タイミングを見つけられなくなり、途中で変わった指示を長時間にわたって追跡し続けることも難しいという結果が出た。
実例：他モデルは「描写」するだけ、StreamVibeは「次の手順」を示す
論文とプロジェクトページには具体的な比較例が掲載されている。
GIMPでの白黒変換チュートリアルでは、比較モデルのJoyAIがまだユーザーが開いてもいないファイルを「保存済み」と誤って報告したのに対し、StreamVibe-VLは「Colors」→「Desaturate」と正確な次手順を適切なタイミングで示した。
ジャム入りロールトーストの作り方では、他のモデルが「パンが平らにされています」と画面の描写をするだけだったのに対し、StreamVibe-VLは「まずクラストを切り落としてください」と具体的な指示を出した。
Googleのビデオ×エージェント戦略の文脈
Googleはビデオ解析とエージェント的な動作の統合を複数の角度から進めている。9月にはGeminiのエージェントベースのビデオ解析機能（トークン使用量を最大88%削減）を発表し、ロボット向けモデルでは長い行動シーケンスの追跡とエラー検出を実証した。リアルタイムの環境理解を目指すProject Astraも同じ方向性を持つ取り組みであり、StreamVibeはその延長線上に位置づけられる。いずれも「任意の瞬間に何が起きているかを理解し、助けが必要なタイミングを認識する」ことを共通の目標に据えている。
なお、StreamVibeはあくまで研究段階のシステムであり、製品としてリリースされたものではない。研究チームは、実際の現場はテスト環境より複雑であることを認めており、ユーザーの好みと環境が互いにどう影響するかは今後の研究課題としている。
詳細はGoogle wants video AI to understand what people need as they workを参照していただきたい。
