powered by TechFeed
表示モード
主要ニュース

Tencentが7700億パラメータのコーディング特化AIをオープンソース公開 — ベンチマーク汚染を避けた実務データ学習で競合モデルを上回ると主張

8月28日、The Newsが「Tencent's Hy4 AI model beats rivals in coding tests」と題した記事を公開した。Tencentが中国最大級のオープンソースAIコーディングモデル「Hy4」を公開し、自社が実施したブラインド評価で競合モデルを上回るスコアを記録したと報じている。注目すべきは、ベンチマークデータセットを訓練に使わないという設計方針だ。LLMの評価信頼性が問われ続ける中、中国AI開発競争の文脈でも異彩を放つ取り組みとして関心を集めている。

8月28日、The Newsが「Tencent's Hy4 AI model beats rivals in coding tests」と題した記事を公開した。Tencentが中国最大級のオープンソースAIコーディングモデル「Hy4」を公開し、自社が実施したブラインド評価で競合モデルを上回るスコアを記録したと報じている。注目すべきは、ベンチマークデータセットを訓練に使わないという設計方針だ。LLMの評価信頼性が問われ続ける中、中国AI開発競争の文脈でも異彩を放つ取り組みとして関心を集めている。


7700億パラメータ超のコーディング特化モデル

Tencentは今週、Hugging Face上でHy4 previewを静かに公開した。総パラメータ数は7700億(770 billion)と、中国発オープンソースモデルとしては今年最大規模の一つだ。

ただし、リクエストごとに実際に動作するのは約490億パラメータのみ。これはMoE(Mixture-of-Experts)アーキテクチャによるもので、入力クエリをネットワーク全体の一部サブセットにルーティングすることで、推論コストを抑えつつ大規模なモデル容量を実現している。

前世代のHy3(2025年4月リリース)は総パラメータ295億だったため、スケールは約2倍以上に拡大した計算になる。


コーディング評価で競合を上回ると主張——ただし自社評価

Tencentが実施した163名の専門家、203件のエンジニアリングタスクを対象としたブラインド評価では、Hy4 previewは4点満点中2.99点を記録した。

競合との比較は以下の通りだ:

モデル スコア(4点満点)
Hy4 preview(Tencent) 2.99
Kimi K3(Moonshot) 2.94
GLM-5.3(Zhipu) 2.92

比較対象のKimi K3は、中国のスタートアップMoonshotが開発するフラッグシップコーディングモデル。GLM-5.3は、清華大学発のAI企業Zhipuが開発するGLMシリーズの最新世代にあたる。いずれも中国AI開発競争における主要プレイヤーだ。

差はわずかながら、Tencentが自社評価でトップに立った形だ。ただし、この評価はTencent自身が設計・実施したものであり、第三者機関による独立した検証は現時点では確認されていない。自社比較でのスコア優位は、参考値として読む必要がある。LLMベンチマーク評価の信頼性については研究者の間でも継続的な議論があり、外部検証の有無は重要な留保点だ。


現場データで学習——ベンチマーク汚染を避ける設計

Hy4の訓練データとして特筆すべきは、ベンチマークデータセットを使わない点だ。学習データはTencent社内のソフトウェアエンジニア、ゲーム開発者、金融アナリスト、セキュリティ専門家が実務の中で生成したデータを使用している。

ベンチマーク汚染(benchmark contamination)——評価用データセットを訓練に組み込むことでスコアだけが膨らむ問題——は、LLM評価における長年の課題だ。実務データで学習するアプローチは、この問題を回避しようとする姿勢として読める。前述の自社評価の信頼性に関する留保とあわせて、この設計方針は「スコアより実運用での有用性を重視する」という立場の表明とも解釈できる。


コンテキストウィンドウは100万トークン超

Hy4はコンテキストウィンドウも100万トークン超に拡張されており、前世代モデルと比べて1リクエストあたり処理できるテキスト量が大幅に増えている。大規模コードベースや長文ドキュメントを一括で扱う場面での実用性が高まる。


既知の制限と今後の予定

previewバージョンという位置づけもあり、Tencent自身が現時点の制限を認めている:

  • 複雑なクエリに対して処理時間が長くなるケースがある
  • 正しい回答に対して不必要に再確認を行う場合がある

両問題は将来バージョンで修正予定とされている。


激化する中国AIモデル競争

中国AIモデルの開発競争は2025年に入って一段と激化しており、Moonshot、Zhipu、Tencentなどが短いサイクルでフラッグシップモデルを更新し続けている。オープンソース公開という戦略も各社で共通しており、開発者コミュニティへの普及を競う構図が続く。Hy4はHugging Face上でアクセス可能だ。

詳細はTencent's Hy4 AI model beats rivals in coding testsを参照していただきたい。