powered by TechFeed
表示モード
Deep Dive

時系列予測の速度と精度のトレードオフを突破 — 線形再帰ベースの基盤モデル「ci-proto」がどのサイズでも競合を上回る

11月16日、Torben Berndt らのチームが「Time Flies When You Parallelise: Pareto-efficient Time Series Foundation Models with Linear Recurrences」と題した論文を公開した。時系列基盤モデルの世界では「精度を上げれば計算コストが爆発する」という構造的な壁が長年破られてこなかったが、本論文はその前提を覆す結果を示している。線形再帰アーキテクチャを採用した基盤モデル「ci-proto」が、100種類のベンチマークタスクにおいて、モデルサイズ・実行速度いずれの条件でも競合モデルを上回るPareto最適フロンティアを独占したのだ。

11月16日、Torben Berndt らのチームが「Time Flies When You Parallelise: Pareto-efficient Time Series Foundation Models with Linear Recurrences」と題した論文を公開した。時系列基盤モデルの世界では「精度を上げれば計算コストが爆発する」という構造的な壁が長年破られてこなかったが、本論文はその前提を覆す結果を示している。線形再帰アーキテクチャを採用した基盤モデル「ci-proto」が、100種類のベンチマークタスクにおいて、モデルサイズ・実行速度いずれの条件でも競合モデルを上回るPareto最適フロンティアを独占したのだ。


時系列基盤モデルの計算ボトルネック

時系列の予測タスクにおいて、大規模な基盤モデル(Foundation Model)が注目を集めている。ゼロショット予測(学習していないデータセットに対してそのまま推論する能力)で高い性能を示す一方、アーキテクチャ上の計算コスト問題が長らく課題であった。

具体的には2つの壁がある。

  • Transformerのself-attention:時系列トークン数に対して計算コストが二乗オーダー(O(n²))で増加する
  • 非線形な再帰的状態遷移(LSTMなど):時間軸方向の並列計算が原理的に困難で、学習が遅い

この両者のトレードオフを突破するのが、本論文で提案するci-protoだ。


ci-protoの核心:線形再帰アーキテクチャ

ci-protoは、選択的状態空間モデル(Selective SSM)の系譜に属する線形再帰アーキテクチャをベースにした時系列基盤モデルのファミリーである。Mambaに代表されるSSMはRNNの系譜に属しながらもTransformerに匹敵する性能を示してきたアーキテクチャであり(参考:Mamba論文 arxiv:2312.00752)、ci-protoはその設計思想をさらに推し進めた構成をとる。

採用する線形の状態遷移がポイントとなる。非線形な遷移と異なり、線形再帰はチャンク単位での並列計算(chunk-wise parallel-in-time)が可能であり、学習時の計算を大幅に効率化できる。また推論時の計算コストはシーケンス長に対して線形(O(n))にスケールする。

アーキテクチャの構造は以下の通りだ。

  • 再帰的な時間軸処理とクロス変量アテンション(cross-variate attention)を交互に積み重ねる
  • 過去の観測値のみを使う共変量(past-only covariates)と、未来が既知の共変量(future-known covariates)の両方に対応
  • 多変量確率的予測(予測値の分布を出力する形式)をサポート

ベンチマーク結果:Paretoフロンティアを独占

評価にはfev-bench(100種類の予測タスクを収録したオープンなベンチマークスイート。短期・長期予測、エネルギー・気象・小売など多様なドメインをカバーし、Chronos・Moirai・TimesFMなど主要な時系列基盤モデルとの比較が可能な共通評価基盤)を使用した。

結果として、ci-proto XLは時系列基盤モデルの中で最高性能を記録した。さらに特徴的なのは、ci-protoの5つのモデルバリアントが、以下の2軸におけるParetoフロンティア全体を占有した点だ。

  • 精度指標:Mean Scaled Quantile Loss(MSQL:確率予測の分位点損失をスケール補正した指標)、Mean Absolute Scaled Error(MASE:ナイーブ予測を基準にスケール補正した絶対誤差の平均値)
  • コスト指標:パラメータ数、中央値ランタイム

Paretoフロンティアとは、ある指標を犠牲にしなければ別の指標を改善できない最適解の集合を指す。5つのバリアント全体でこれを独占したということは、モデルサイズや実行時間の異なる条件のいずれにおいても、ci-protoより精度・効率の両面で優れた競合モデルが存在しないことを意味する。


エンジニア視点での着目点

実装面で気になるのは、chunk-wise parallel-in-timeの具体的な実現方法だ。線形再帰はチャンク内を並列化し、チャンク間はシリアルに処理する形になる。これはFlash Attentionがブロック単位でメモリ効率を最適化するアプローチと発想が近く、ハードウェア(GPU/TPU)の特性を活かした実装が前提となっている。

また、cross-variate attentionを時間軸の再帰と分離して積み重ねる設計は、変数間の相関を学習しながら時間軸の計算コストを抑えるという実用的な妥協点であり、産業用途の多変量時系列データへの適用を意識した設計に見える。

モデルのバリアントが5種類存在することで、小さいモデルはエッジに近い推論環境、大きいモデルは精度優先の用途と、単一モデルではカバーできない要件に対応できる構成になっている。精度・速度・サイズのいずれの軸でも競合を上回るという今回の結果は、時系列基盤モデルの実運用における選択肢を実質的に塗り替える可能性を持っており、今後の追試・派生研究の動向が注目される。


詳細はTime Flies When You Parallelise: Pareto-efficient Time Series Foundation Models with Linear Recurrencesを参照していただきたい。