8月13日、Semiconductor Engineeringが「Packet-Based NPUs In The LLM Era: From Compute-Bound CNNs To Memory-Bound Edge And Automotive Workloads」と題した記事を公開した。LLM時代においてエッジ・車載向けNPUのボトルネックがコンピュート制約からメモリ制約へと転換しつつあり、パケットベースのNPUアーキテクチャがその課題にどう対応するかについて詳しく論じている。
CNNからLLMへ：ボトルネックの「逆転」が設計思想を変える
エッジAI向けNPUの設計において、ここ数年で起きているのはワークロードの質的な変化だ。従来の主役であったCNN（畳み込みニューラルネットワーク）ベースの推論——YOLO系の物体検出、MobileNet系の分類、セグメンテーション——は、コンピュートバウンドな性格を持つ。重みは再利用され、推論はほぼステートレスに進む。NPUはMAC（乗算累積演算器）スループットを最大化する方向で設計されてきた。
LLM・VLM（視覚言語モデル）はこの前提を崩す。プリフィル（入力トークンの一括処理）フェーズこそ演算負荷が高いが、デコード（トークン生成）フェーズはKVキャッシュ（Attention機構で使うKey/Valueの中間状態を保存するバッファ）へのアクセスとパラメータ読み出しに支配される。有効な演算再利用が少なく、ワークロードは急速にメモリバウンドへと転換する。
データシートのTOPS（毎秒の演算回数）が高くても、KVキャッシュのサイズやアクセスパターン、メモリ帯域幅がボトルネックになれば実効性能は出ない。これがエッジ・車載環境で顕在化しているリアルな問題だ。
パケットベースアーキテクチャはメモリバウンド時代に通用するか
記事の主役はExpederaのOrigin NPU IP（パケットベースのNPUアーキテクチャ）だ。従来のCNN向け設計では、レイヤー単位ではなくパケット単位で処理を分散させることでMAC稼働率を高め、外部メモリへのアクティベーション転送を削減してきた。
LLM時代に向けてこのアーキテクチャをどう拡張したかについて、記事では以下が示されている。
- 単一コアで128 TFLOPSのスループットを実現。マルチコア構成への拡張についても言及されているが、具体的なコア数や構成規模は元記事の記述に依拠する
- フィードフォワード、Attention、ベクトル演算を個別の処理ブロックで担い、パケットをネットワーク構造とフェーズ（プリフィル/デコード）に応じてルーティング
- 再学習不要・精度劣化なしでモデルをそのまま実行可能（パケット化はコンパイラ/ランタイム層で処理）
最も具体的な数字が、メモリ移動の削減効果だ。Llama 3.2 1BおよびQwen2 1.5B（実際の組み込みLLM展開を代表するサイズのモデル）において、代替アプローチと比較して外部メモリへのデータ転送を75%以上削減できたとしている。
Fig. 1: LLMによる推論時の複雑性の増大
プリフィルとデコードを別々にモデル化する
このアーキテクチャ上の特徴として注目すべき設計方針が、プリフィルとデコードを別フェーズとして明示的にモデル化・最適化できる点だ。NPUのアーキテクチャ評価や性能検証に関わるエンジニアにとっても、フェーズ別の解析軸が明確になるという意味で実践的な含意がある。
- プリフィル：演算スループット重視。大規模な行列乗算が中心で、CNN的な挙動に近い
- デコード：KVキャッシュの読み出しとメモリストリーミングが支配的。演算量は1ステップあたり小さく、Attentionブロックとベクトルブロックに分散されるパケットで外部メモリ負荷を下げる
Fig. 2: 推論イベントのタイムライン比較
この設計により、DRAM/HBMのバス幅やSRAMサイズ・パーティショニングをフェーズ別の実KVキャッシュアクセスパターンに対してチューニングでき、安全クリティカルな車載ワークロードにおけるワーストケースのレイテンシと帯域影響を解析しやすくなる。
車載・エッジへの展開：メモリ制約と異種ワークロード混在
車載SoCはパーセプション（物体認識）、ドライバーモニタリング、インフォテインメント、そして生成AI機能を同時に動かす必要がある。記事では、このような異種ワークロードの共存に対するNPU設計の課題が整理されている。
- レイテンシとプライバシー：LLM推論をローカルで実行することで、エンドツーエンドのレイテンシを削減し、車内データをクラウドに出さない構成が可能になる
- メモリと電力の制約：デコードのたびにKVキャッシュをDDRに書き出すと電力とコストが急増する。パケットベースのスケジューリングで外部メモリ転送を減らし、所定の電力バジェット内でのトークン生成速度を高める
- ヘテロジニアスなワークロード共存：CNNとLLMの両方を「一級市民」として扱えるNPUファミリーは、CNN最適化コアにLLMサポートを後付けするアプローチに比べ、プラットフォーム設計をシンプルにする
ソフトウェアスタックとの互換性
ソフトウェア面では、HuggingFace、Llama.cpp、Apache TVMなどから直接モデルを取り込める。整数・浮動小数点の混在精度、レイヤーフュージョン/フィッションにも対応し、チップまたはチップレットレベルでの複数コア制御も一元化されている。
この互換性が持つ意味は、単なる「使いやすさ」にとどまらない。既存の学習済みモデルをそのまま投入できるということは、ハードウェアへの移植コストを大幅に下げる。Llama 3やQwen 2といったオープンソースモデルをそのままベンチマークに使えるため、アーキテクチャ評価や性能比較を標準的な条件で行いやすくなる。エッジ・車載向けSoCのソフトウェアスタック構築において、ツールチェーンの断絶がしばしば開発コストを押し上げてきた経緯を踏まえると、この層での互換性確保は実装フェーズへの移行コストに直結する論点だ。
まとめ
エッジAI設計における問いは、「パケットがCNNで機能するか」ではなくなっている。異種AIワークロードにまたがるモデリング・スケジューリング・検証の複雑さを、アーキテクチャがどこまで吸収できるか——これが、どのアクセラレータが実際に製品に搭載されるかを決める問いになりつつある。
詳細はPacket-Based NPUs In The LLM Era: From Compute-Bound CNNs To Memory-Bound Edge And Automotive Workloadsを参照していただきたい。
