7月18日、MarkTechPostが「Sakana AI's Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation」と題した記事を公開した。この記事では、日本発のAI研究企業であるSakana AIがバックプロパゲーション（誤差逆伝播法）を使わずにニューラルネットワークを学習させる新手法「Error Diffusion」を発表し、MNISTで96.7%、CIFAR-10で61.7%の精度を達成したことが紹介されている。近年、生物学的妥当性を持つ学習則への関心が研究コミュニティで高まっており、本手法はその文脈で注目を集めている。
バックプロパゲーションの根本的な問題
深層学習の標準的な学習手法であるバックプロパゲーションには、長年指摘されている生物学的な問題がある。逆伝播の計算には「順伝播の重み行列の転置」が必要だが、実際の脳はそのような仕組みを持っていないとされる。これは重み転送問題（Weight Transport Problem）と呼ばれる。
さらに、現実の神経細胞はダールの原則（Dale's principle）に従い、一つのニューロンは興奮性か抑制性のどちらか一方の信号のみを出力する。つまり、負の重みと正の重みを同一ニューロンが持つことはない。多くのバックプロパゲーション不要の代替手法（DFAなど）もこの制約を無視している。
Sakana AIの論文Diffusing Blameは、この二つの制約を同時に満たす手法としてError Diffusion（ED）を発展させた。なお、このarXivリンクの論文番号（2606.xxxxx）は通常の体系（年下2桁＋月2桁）から見ると2026年6月公開に相当するが、念のため元論文のページで番号をご確認いただきたい。
Error Diffusionの仕組み
EDはKaneko（2000）が提案した局所学習則だ。各重みの更新に必要なのは、シナプス前活動・シナプス後の活性化微分・単一のグローバルエラー符号の3つのみ。転置行列もランダムフィードバック行列も不要である。
ただし、従来のEDは二値分類とMNISTにしか適用できなかった。Sakana AIはこれを多クラス分類や強化学習へと拡張した。
デュアルストリームアーキテクチャ
ダールの原則を満たすため、各層を興奮性ストリーム（p）と抑制性ストリーム（n）の2系統に分割する。順伝播の計算式は以下の通りだ。
p_i = φ_i( +p_{i-1} Wpp − n_{i-1} Wnp + bp )
n_i = φ_i( +n_{i-1} Wnn − p_{i-1} Wpn + bn )
4つの重み行列（Wpp、Wnp、Wnn、Wpn）はすべて非負に保たれる。ストリーム間をまたぐ接続の抑制的な符号は学習されるのではなく構造的に固定されているため、学習可能な重みはすべて非負のままだ。
代償としてパラメータ数は約4倍になる。DFAと同一アーキテクチャで比較すると、約32Mパラメータ対8Mという差になる。
多クラス分類を可能にした3つの工夫
従来のEDを多クラス分類に対応させるため、研究チームは3つの改善を加えた。
1. モジュロエラールーティング
隠れユニット i のルーティングを r(i) = i mod C（C=出力次元）で定義し、各隠れユニットに固定の出力チャネルを割り当てる。DFAのランダムなフィードバック行列と異なり、構造的な対応関係を用いる。
2. 層固有のシグモイド幅
シグモイドの導関数がエラー信号の伝達を直接制御するため、幅が小さいと勾配が急減衰する。事後分析では出力層から第1隠れ層まで25倍の減衰が確認されている。CIFAR-10の畳み込み層にはα=3.0、全結合層にはα=6.0を設定した。
3. バッチ中心化クラスエラーと非対称初期化
ミニバッチ内のクラス平均を差し引くことで、9:1のターゲット不均衡による抑制を軽減する。また、興奮性重みを1.5倍・抑制性重みを0.5倍にスケーリングし、E/I比を3:1に設定する。
精度と比較
| 手法 | MNIST | CIFAR-10 | ダール準拠 | 備考 |
|---|---|---|---|---|
| 提案ED | 96.7% | 61.7% | Yes | 全重みが非負・ED初のCNN適用 |
| Seed ED（改善なし） | 50.4% | 11.6% | Yes | α=1.0、生エラー、対称初期化 |
| DFA | 97.6% | 69.1% | No | ランダムフィードバック、約284万の負の重みを含む |
3つの改善を加えることで、MNISTで+46.3ポイント、CIFAR-10で+50.1ポイントの向上が得られた。先行研究（Fujita, 2026）が平坦化MLPでCIFAR-10を約55.2%にとどめていたのに対し、EDで初めて畳み込みネットワークを学習させた点も成果の一つだ。
一方で、ダールの原則への準拠には明確なコストが伴う。DFAと比較するとMNISTで−0.9ポイント、CIFAR-10では−7.4ポイントの精度差があり、特にCIFAR-10での差は無視できない水準だ。生物学的制約を満たしながら競争力を持つ精度を達成したことは評価できるが、この精度と生物学的妥当性のトレードオフは今後の研究における重要な課題として残る。
アブレーション結果の逆転
興味深いのは、3つの改善の重要度がタスク間で逆転する点だ。
- MNISTでは層固有のシグモイド幅の除去が壊滅的（−71.4ポイント）で、バッチ中心化の影響はわずか−0.3ポイントにとどまる。
- CIFAR-10では逆にバッチ中心化エラーの除去が最大の影響を持ち（−47.9ポイント）、5シードのうち4つが崩壊する。
この逆転は、単一ベンチマークでは見えないタスク依存のクレジットアサインメントのボトルネックを示している。
強化学習への展開：ED-PPO
分類タスクにとどまらず、研究チームはEDを強化学習のPPO（Proximal Policy Optimization）と統合したED-PPOも検証している。
BraxのHalfCheetahでは、ED-PPOがBP-PPOを5494 vs 3520（p < 0.001）で上回った。一方、Craftaxではランダムフィードバックを使うDFA-PPOが最も弱い手法（19.8 vs BP-PPO 27.0）となっており、分類では有効なランダムフィードバックが開放的なRLでは通用しない場面があることが示された。
コードスケッチ
論文では以下のような実装イメージが示されている。
import torch
def dual_stream_forward(p, n, Wpp, Wnp, Wnn, Wpn, bp, bn, phi):
# All W >= 0; 交差ストリームの符号はダール原則により固定
p_next = phi(p @ Wpp - n @ Wnp + bp) # 興奮性ストリーム
n_next = phi(n @ Wnn - p @ Wpn + bn) # 抑制性ストリーム
return p_next, n_next
def routed_error(S, H, C): # S: 出力エラー shape (B, C)
M = torch.zeros(H, C)
for i in range(H):
M[i, i % C] = 1.0 # r(i) = i mod C
return S @ M.T # R = S M^T, shape (B, H)
def ed_update(A_p, Z_p, R, phi_deriv):
U_p = phi_deriv(Z_p) * R # 局所シナプス後駆動
return A_p.T @ U_p # dWpp ∝ A_p^T U_p, shape (K, H)
詳細はSakana AI's Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagationを参照していただきたい。
