Deep Dive

7月14日、MIT Technology Reviewが「What Anthropic's latest AI discovery does and doesn't show」と題した記事を公開した。AnthropicがLLMの内部に新たな「思考空間」を発見したという研究成果と、その意義および限界について、同誌シニアエディターのWill Douglas Heavenが詳しく解説している。LLMの内部に「隠れた言葉空間」が存在したAnthropicは7月上旬、自社モデル「Claude」の内部に、出力には現れないが推論プロセスに影響を与える言葉が存在する空間を発見したと発表した。Anthropicはこれを「J-space」と名付けた。この発見のために、Anthropicは新たなプロービング技術を開発した。プロービングとは、LLMの内部状態を調査・可視化するための手法であり、mechanistic interpretability研究の一環として位置づけられる。Anthropicはこれまでも回路レベルでの特徴抽出など、モデル内部の仕組みを解明する研究を継続的に発表してきており、J-space...