11月3日、Latent Spaceが「LLMs can read & write neural network weights: "Weight Space Programming" cuts Autoresearch out of the RSI loop」と題した記事を公開した。この記事では、LLMがニューラルネットワークの重みを直接読み書きする「Weight Space Programming」という手法が、再帰的自己改善（RSI）の新たな経路として実証されたことを詳しく紹介している。
LLMが「別のモデルの重みを直接書き換える」という0→1の突破
AIの自律研究（Autoresearch）の従来の流れは、PyTorchやJAXのコードを書き、計算クラスタでジョブを走らせ、損失曲線を監視し、評価指標を読んでカーネルやデータを最適化する——という多段階のプロセスだった。
今回報告されたのは、そのプロセスを根本から迂回するアプローチだ。十分に賢いLLMが、より単純なモデルの重みを直接読み込み、編集するというものである。
手法の名称はWeight Space Programming。先月のLatent Spaceゲスト回に登場したAlex Zhangが共著者として名を連ねる研究だ。
LLMが「パラメータ数を増やせば万能関数近似器に近づく」という前提に立てば、いずれ重み空間を直接操作できるようになるという予測は理論上あり得た。しかし実際にその能力が突然現れたことは、研究者の間でも驚きをもって受け止められている。
すでに独立した再現実験も報告されており、発見の信憑性を裏付けている。
RSIへの接続点として何が変わるのか
RSI（Recursive Self-Improvement：再帰的自己改善）とは、AIが自分自身（または別のAI）を改善し続けることで能力を再帰的に高めていく概念だ。これまでのAutoresearchは、コード生成→実行→評価のサイクルに人間のインフラや専門知識が介在する形だった。
Weight Space Programmingが示したのは、そのサイクルからコード記述と計算実行の工程を省略できる可能性だ。LLMが重みを読み、意図した動作になるよう直接書き換える——という経路が開けた。
ただし現時点の制約も明記されている：
- 本質的にはメカニスティック解釈可能性（mechanistic interpretability：ニューラルネットワーク内部の動作を人間が理解できる形で分析する研究領域）の一形態であり、手作業でも原理的には実行可能
- 単純なゲームや強化学習ポリシー程度のタスクにしかスケールしないと見られている
- 高度なタスクへの汎化はこれからの課題
それでも記事は「世界がこの能力において0から1に移行した」と表現している。効率の高さから、すぐに実用・探索が進むと見ている。
その他の主要トピック
Weight Space Programming以外にも、記事には今週のAI界隈の動きが広くまとめられている。主なものを以下に紹介する。
DeepSeekの「スーパーエージェント」プロトタイプ：ルーターセッションが人間と対話しながら並列ワーカーにタスクを配布するアーキテクチャ。DeepSeek自身のテストでは、p95完了時間が29.5分から15.7分に短縮されたと報告されている。ただし批評家からは「モデルの弱点（幻覚など）への場当たり的な対処に過ぎず、一般的なロバスト性を高めていない」という指摘もある。
GDPxベンチマーク（SemiAnalysis）：半導体分析会社SemiAnalysisが公開したエージェント向け総合評価基準で、チップ設計・SWE・金融・生物学など11分野206タスクをカバーする。**最高スコアはOpus 5.5（Anthropicが開発するClaudeシリーズの上位モデル）の12%**。Gemini 4 Carbon（Googleの最新世代Geminiシリーズに属するモデル）が10.9%でほぼ同等のスコアをおよそ4分の1のコストで達成している。ベンチマーク全体のスコアが低水準にとどまっている点は、現行エージェントの汎化能力の限界を示すものとして注目に値する。
モデルリリース動向：MetaのMuse Spark Open（総パラメータ816B・アクティブパラメータ42Bの大規模MoEモデル）が米国産オープンウェイトモデルで最強とされ、MistralのLe Chonk（総パラメータ1T・アクティブ52BのMoEモデル。名称は巨体を意味するスラング "chonk" に由来するとみられる）がオープンウェイト5位に位置する。いずれもMixture-of-Experts（MoE）構造を採用しており、全パラメータのうち推論時に実際に使われるのは一部にとどまる点が特徴だ。
Karpathyの「HackerTube」：著名AI研究者のAndrej Karpathyが公開したプロジェクト。Claude Opus（Anthropicが開発するClaudeシリーズの高性能モデル）がHacker Newsの2000万件以上のコメントを処理し、繰り返し推薦された動画6,454本に絞り込んだ。Claude Codeを使って約2時間で構築されたとされる。
Weight Space Programmingという手法は、まだ初期段階にある。しかし「LLMが別のモデルを直接書き換える」という能力の登場は、AIシステムの自律的な能力改善という文脈で今後参照され続ける起点になるだろう。
詳細はLLMs can read & write neural network weights: "Weight Space Programming" cuts Autoresearch out of the RSI loopを参照していただきたい。
