powered by TechFeed
表示モード
Deep Dive

DeepMind研究者が論文で指摘した「LLMの天井」— 計算量を増やしても越えられない、仮説を一から生み出す能力

7月29日、Omar Sohailが「Google DeepMind Paper Says LLMs Will Never Replace Human Genius Because They Lack The Creative Leap Necessary To Make New Scientific Theories」と題した記事を公開した。Google DeepMindの研究者Tom Zahavyが発表した論文「LLMs can't jump」は、「LLMは人間の創造的飛躍を代替できない」と主張する——その根拠は、コンピュートの拡張では埋められない推論能力の構造的な欠如にある。

7月29日、Omar Sohailが「Google DeepMind Paper Says LLMs Will Never Replace Human Genius Because They Lack The Creative Leap Necessary To Make New Scientific Theories」と題した記事を公開した。Google DeepMindの研究者Tom Zahavyが発表した論文「LLMs can't jump」は、「LLMは人間の創造的飛躍を代替できない」と主張する——その根拠は、コンピュートの拡張では埋められない推論能力の構造的な欠如にある。


LLMが超えられない壁:「アブダクション」とは何か

論文の核心は、推論の3類型にある。帰納(induction)演繹(deduction)アブダクション(abduction)だ。

  • 帰納:大量データからパターンを見つける。LLMが特に強みを発揮する領域であり、統計的パターン認識と大規模データ圧縮によって高い水準に達している。
  • 演繹:既存のルールから論理的に結論を導く。AlphaProofのような数学的推論システムが高い性能を示している領域だ。
  • アブダクション:データが乏しい状況で、観察された事実を最もうまく説明する仮説を一から生成する能力。論文がLLMの突破できない上限として指摘するのが、この推論様式である。

科学的発見の多くはアブダクションによって生まれる。既知のパターンの外側に出て、まだ誰も言語化していない説明原理を構築するプロセスだ。LLMがトークン列の統計的続きを予測するアーキテクチャである以上、この種の「ゼロからの仮説生成」とは根本的に相性が悪い——というのが論文の立場である。


アインシュタインの思考実験が示すもの

論文はこの主張を、アインシュタインの一般相対性理論を例に補強する。

議論の前提として、ドイツの計算機科学者Jürgen Schmidhuberが提唱する「科学的発見とは高度なデータ圧縮に過ぎない」という見方がある。Schmidhuberはリカレントニューラルネットワークやメタ学習の先駆的研究者であり、知能を情報圧縮の観点から定式化することで知られる。この立場に立てば、LLMの延長線上に科学的発見があることになる。しかし論文はこれを真っ向から否定する。

アインシュタインが一般相対性理論を構築した際、利用可能な観測データは極めて乏しかった。彼が依拠したのは「密閉されたエレベーターの中で落下したらどう感じるか」という身体的な思考実験だ。感覚経験と物理的直感を接続することで、新たな数学的原理が生まれた。データ圧縮ではなく、身体に根ざした想像力が起点にあった。

LLMはアインシュタインの初期の発見を与えられれば、その後の複雑な数学的演繹を難なくこなせる。しかし、既存のテキストを分析するだけで、あの最初の前提を自力で発明することはできない


「データセンターを増やしても解決しない」

現在のAI開発フレームワーク(自動コーディングツールを含む)は、既存のルールブックの範囲内で動作するにとどまり、まったく新しいフレームワークを創出するには至らない。

論文が強調するのは、これがスケールの問題ではないという点だ。LLMには現実世界における身体的基盤(physical grounding)がないため、因果関係に基づく直感的モデルを構築できない。そして、インフラを拡張しコンピュートを増やしても、この限界は解消されないと論文は明言している。


突破口は「身体性を持つシミュレーション」か

論文が示す解決の方向性は、テキストや画像処理を超えた物理的マルチモーダル・ワールドモデルへの進化だ。AIシステムが仮想環境で身体化シミュレーション(embodied simulation)を実行できるようになれば、方程式やコードを生成する前に現実世界の物理的直感を構築できる——というのが論文の展望である。

ただし、これはあくまで将来アーキテクチャの方向性として示されたものであり、現時点で実現しているわけではない。


LLMの能力をめぐる議論は多いが、DeepMindの研究者という一次発信元が「LLMにできないこと」を構造的に論じた点は、AI研究者・エンジニア双方にとって参照価値が高い。論文全文(PDF)はTom Zahavyの公式サイトから入手できる。

詳細はGoogle DeepMind Paper Says LLMs Will Never Replace Human Genius Because They Lack The Creative Leap Necessary To Make New Scientific Theoriesを参照していただきたい。