AlibabaのQwen3.8-Omni-Flashが動画・音声・テキストを100万トークンで一括処理 — エージェント型動画知覚で精度向上とコスト削減を同時達成

9月18日、MarkTechPostが「Alibaba Qwen Releases Qwen3.8-Omni-Flash: A 1M-Context Omni-Modal Model Built Around Agentic Audio-Video Understanding and Tool Use」と題した記事を公開した。AlibabaのQwenチームが新たにリリースした「Qwen3.8-Omni-Flash」は、テキスト・画像・音声・動画を100万トークンのコンテキストウィンドウで処理できるオムニモーダルモデルだ。最大の特徴は「エージェント型動画知覚」と呼ばれるアプローチで、長尺動画の処理精度を高めながらトークン消費量を約46%削減する。音声入力コストは旧モデル比で98%以上削減されており（音声入力に限定した数値）、APIとして今すぐ利用できる。

※本記事中の「Gemini 3.8 Flash」はMarkTechPost記事における元の表記をそのまま踏襲している。2026年9月現在、同名モデルの公式発表は確認できていないため、読者は元記事の記述を参照のうえご判断いただきたい。

背景：Qwenシリーズとオムニモーダルモデルの潮流

Qwenシリーズは、Alibabaが2023年から継続的に公開してきたLLM群だ。当初はテキスト特化モデルとして出発したが、その後Qwen-VL（画像理解）、Qwen-Audio（音声理解）、そして複数モダリティを統合したQwen-Omnシリーズへと拡張されてきた。2025年以降はGemini・GPT-4oといったオムニモーダルモデルとの競合が激化しており、「テキスト・音声・動画を1つのモデルで扱う」設計が業界標準に近づきつつある。

Qwen3.8-Omni-Flashは、この流れにおける最新の一手だ。「Flash」の名が示すとおり、応答速度とコスト効率を重視した軽量志向の設計となっている。

APIのみのリリース、自己ホスティングは不可

Qwen3.8-Omni-Flashは、テキスト・画像・音声・動画を入力として受け取り、テキストを返すモデルだ。現時点ではQwenCloud、Alibaba Cloud Model Studio、Qwen Studioでホスト型APIとして提供されている。オープンウェイトの公開はなく、セルフホスティングは不可だ。

ベースアーキテクチャはQwen3.8-Flash-Nextで、こちらは2026年8月にオープンウェイトとして公開済みである。

コンテキストウィンドウは100万トークン。QwenCloudの仕様では最大入力991K、最大出力131K、最大推論長は262Kトークンとなっている。出力はテキストのみで、音声生成が必要な場合はQwen3.5-Omniへの移行が推奨されている。

APIはDashScopeとOpenAI互換の両プロトコルに対応しており、関数呼び出し・ウェブ検索・構造化出力・コンテキストキャッシュ・バッチ処理をサポートする。思考機能（Thinking）はデフォルトで有効（reasoning_effort: xhigh）で、noneに設定することで無効化できる。

最大の特徴：エージェント型の動画知覚

このモデルの設計上の肝は、長尺動画の処理方法にある。

従来の動画モデルは、長い動画ファイルを最初から最後まで読み込む構造だ。Qwenの研究チームは異なるアプローチを採用したと説明している。エージェントがまず問いから出発し、「何を見るか・聞くか」を自律的に決定。粗いスケールから細かいスケールへと複数ラウンドで証拠を収集し、関連するセグメントにのみ計算とトークンを集中させる。このような「必要な箇所だけを選択的に処理する」設計思想は、近年のエージェント型AIシステム全般に共通するトレンドでもある。

OmniVideoBenchでの報告値：

• 精度：63.4 → 67.8（+4.4ポイント）
• トークン使用量：145,736 → 79,117（約45.7%削減）

精度向上とコスト削減を同時に達成している点が、このアプローチの核心だ。

ベンチマーク結果

以下の数値はすべてQwenによる自己報告であり、独立した検証結果は現時点では存在しない点に留意されたい。

• 29評価の平均スコアがQwen3.5-Omni-Plus比で25%以上向上
• WildClawBench-MM：+36.5ポイント
• AgenticVBench：+22.3ポイント
• UniClawBench：69.6
• LongAudioSpan：+8.3ポイント、OmniVideoBench：+9.6ポイント
• WildClawBench-MMとUniClawBenchのエージェント系タスクで平均**+19.5ポイント**

研究チームは音声・映像性能がGemini 3.8 Flashに近く、音声単体の性能はGemini 3.8 Flashを上回ると主張している。

価格とモデルの制限

QwenCloudの価格：

• 入力：**$0.15 / 100万トークン**
• 出力：**$0.47 / 100万トークン**
• 暗黙的キャッシュヒット：$0.016 / 100万トークン

Qwen3.5-Omni-Plusとの比較では、音声入力コストが1時間あたり98%以上削減、音声・映像の複合入力は93%以上削減と報告されている。なお、この98%という数値は音声入力に限定した比較であり、全モダリティ共通のコスト削減率ではない。

主な入力制限（Model Studio docsより）：

• 動画：URLで最大2時間・2GB
• 音声：最大3時間
• 音声入力対応言語：113言語・方言
• 動画サンプリング：最大15fps
• 4チャンネルFOA空間音声（use_multichannelオプション）：FOA（First Order Ambisonics）は全方向の音場を4チャンネルで記録する空間音声フォーマット。複数話者の分離や方位情報の保持に有用だ
• 対応リージョン：北京・シンガポール・香港・東京・フランクフルト・バージニアの6拠点

OpenAI互換SDKを使った呼び出しは数行で済む：

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["DASHSCOPE_API_KEY"],
    base_url=os.environ["DASHSCOPE_BASE_URL"],
)

completion = client.chat.completions.create(
    model="qwen3.8-omni-flash",
    messages=[{"role": "user", "content": [
        {"type": "video_url", "video_url": {"url": os.environ["VIDEO_URL"]}},
        {"type": "text", "text": "List the key moments with timestamps."},
    ]}],
    modalities=["text"],
    stream=True,
)

for chunk in completion:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

オープンソースのエージェントツール：Qwen-MM-Plugins

モデルの出力はテキストのみのため、メディア処理はツール側で行う。Qwenチームはその補完として2つのプロジェクトをオープンソース化する。

Qwen-MM-PluginsはApache-2.0ライセンスで公開済みだ。「あらゆるエージェントハーネスをマルチモーダルネイティブにする」をコンセプトとしている。エージェントハーネスとは、LLMにツール呼び出しや環境との対話を組み合わせた実行フレームワークの総称で、LangChainやAutogenなどが代表例だ。各機能はSkillとオプションのMCPサーバー（Model Context Protocol準拠のツールサーバー）としてインストールできる。Claude Code・CodeBuddy・Codex・Qoder・OpenClaw・Qwen Code・Gemini CLIのガイド付きインストーラーが用意されている。

主なOmni機能：

• **omni-memory**：長尺動画の音声・映像メモリを構築
• **omni-video2note**：チュートリアル動画を図入りPDFに変換
• **omni-chatcut**：Music-to-MV、映画コメンタリー、話者を保持した動画翻訳

現時点の制限として、ほとんどのエージェントハーネスはネイティブに音声をメインモデルへ渡せないため、音声はAPIルートを経由する実装となっている。

まとめ

詳細はAlibaba Qwen Releases Qwen3.8-Omni-Flash: A 1M-Context Omni-Modal Model Built Around Agentic Audio-Video Understanding and Tool Useを参照していただきたい。