11月4日、The Decoderが「Rapid LLM development is outrunning the research meant to explain it, study finds」と題した記事を公開した。今日読んだLLM研究の知見が、すでに現行モデルには当てはまらない——そんな事態が、広く引用されてきた研究の**44%**で実際に起きていることを示すStanfordの研究が話題を呼んでいる。
なぜ「再現性」がLLM研究で問題になるのか
ソフトウェアの世界では、ライブラリのバージョンが変われば挙動が変わることは自明だ。しかしLLM研究においては、論文が「○○モデルはこういう傾向がある」と主張した時点と、その論文が読まれ・引用される時点とのあいだに、モデル自体が大きく変化してしまうという問題が構造的に生じやすい。
これはいわば「動く標的」を撃ち続けるようなもので、査読・出版のサイクルがモデルのリリースサイクルに追いつけない以上、実証的な知見が陳腐化するリスクは研究が蓄積されるほど高まる。こうしたメタサイエンス的な問題意識から生まれたのが、今回のStanfordによる検証研究だ。なお、本研究は2026年時点のモデルを対象に行われており、登場するモデル名・ベンチマーク結果はその時点のスナップショットとして読む必要がある。
LLMの主要知見の半分近くが「時代遅れ」に
Stanfordの研究者Owen QueenとJames Zouは、LLMに関する広く引用されている50の知見を、8社が開発した20のモデルに対して検証した。その結果、44%の知見がすでに「期限切れ（expired）」と判定された。
期限切れとは、元の研究で確認された効果が実質的に消滅した状態を指す。さらに34%は効果が著しく弱まっており、現在も有効なのはわずか**16%**にとどまる。6%については逆に効果が強まっている。
時間軸で見ると、1年後には16%が期限切れになり、2年後には39%まで上昇する。期限切れと判定された22件の知見の平均寿命は、わずか15.7ヶ月だった。
「できないこと」に関する知見が最も速く陳腐化する
研究で特に目立つのは、モデルの弱点・限界を主張する知見が最も速く失効するという傾向だ。
推論関連の知見9件のうち5件が期限切れ、残り4件も弱まっており、有効または強まったものはゼロだった。期限切れになった典型例として以下が挙げられている：
- 「strawberry」の文字を数えられない
- 馴染みのない数体系での算術が苦手
- 長いコンテキストの中間部分にある情報を見落とす（Lost in the Middle問題）
- ユーザーに反論されると正解を撤回してしまう
研究者は、こうした「誤り」には「正解」という明確なターゲットが存在するため、開発者がトレーニングで対処しやすいと推察している。言い換えれば、限界を公表することがそのまま改善の指針になり、次のモデルでは限界が消えてしまうという構造だ。
一方で、モデルの傾向や嗜好に関する知見は長持ちする。有効または強まった11件の知見のうち、3件は「LLMが評価者として自分自身の回答を好む」「採択・却下論文を同様に評価する」「医学抄録の表現に影響される」といった評価者バイアスに関するものだ。さらにユーザーへの迎合（sycophancy）、左寄りの政治的バイアス、開放型質問への画一的な回答傾向なども依然として観測される。
幻覚引用は55%→0%へ、ただし最新モデルでも69%の例外あり
ケーススタディとして、科学論文の引用捏造問題が取り上げられている。2023年のWaltersとWilderによる研究では、GPT-3.5が参照文献の55%を捏造していた。
同じプロンプトを2026年時点の最新モデルに投じたところ、**GPT-6.1 Solは0%、Claude Sonnet 5.5は1%まで改善されていた。しかし同じく2026年モデルのQwen3.7-Flashは69%**という数字を記録しており、モデル間の格差が依然として大きいことを示している。
同世代モデルでも結果はバラバラ
2026年7〜9月にリリースされたモデル間でも、期限切れの知見数はDeepSeek V4 Proの11件からGPT-6.1 Solの30件まで幅がある。リリース時期、開発元、モデルサイズのいずれも、この差を予測する指標にはならないという。
研究への含意：「特定モデルの観察」として記録せよ
Queen and Zouはより広い結論を引き出している。LLMに関する実証的知見は、特定のモデルの特定時点における観察として示すべきであり、一般的な真実として提示すべきではない。論文にはモデル名、バージョン、日付を明記し、プロンプトと分析コードを公開して将来のモデルでも再検証できるようにすることを求めている。
研究者はまた、Andrej Karpathy（OpenAI共同創業者・元Tesla AI責任者）のポストを引用している。Karpathyは現在、2024年に設立した教育AI系スタートアップEurekaLabsを中心に独立した活動を行っており、Anthropicへの所属は確認されていない。同氏は、LLMの実際の挙動に関する認識のずれが、AIへの信頼やその利用頻度に影響すると指摘している。
詳細はRapid LLM development is outrunning the research meant to explain it, study findsを参照していただきたい。
