10月7日、Nature が「Retrofitted LLM can count the letter 'i's in 'artificial intelligence'」と題した記事を公開した。著者はZhao ZhangとYingfei Xiong（北京大学、高信頼性ソフトウェア技術重点実験室）で、本記事はMinixhoferらが Nature に発表した原著論文を解説するNews & Views記事である。取り上げられているのは、既存のトークンベースLLMをバイトレベルで動作するよう改修する「バイト化（byteification）」技術だ。
「strawberry」の 'r' は何個か？
「strawberry」に 'r' は何回登場するか？ 正解は3回だが、多くのLLMは「2回」と答える。これはLLMが根本的に抱える構造的な問題に起因する。
現在主流のLLMは、テキストをトークン（token）という単位で処理する。トークンとは、単語や単語の一部をまとめた文字列の塊で、たとえば "strawberry" は単一または複数のトークンとして符号化される。この仕組みにより高い言語能力を実現できるが、個々の文字（バイト）へのアクセス能力を犠牲にしている。モデルはトークンの意味は理解できても、そのトークンが何文字で構成されているか、何という文字が含まれるかを直接「見る」ことができない。
「artificial intelligence」に 'i' が何個含まれるか数える、スペルミスを検出する、文字単位のパターンを認識する——こうした処理はトークンベースのモデルにとって本質的に苦手な領域だ。
バイト化（byteification）とは何か
Minixhoferらが Nature に発表した手法「バイト化（byteification）」は、既存のトークンベースLLMをバイトレベルで動作するよう後付けで改修するアプローチだ。
テキストは最終的にバイト列（binary sequence）として表現される。バイトレベルのモデルは、トークンという抽象化を介さず、この生のバイト列を直接扱う。文字の数を数えたり、特定の文字が含まれるかを判断したりする処理が、原理的に正確に行える。
ポイントはスクラッチからの再学習ではなく「既存モデルへの後付け（retrofit）」である点だ。大規模モデルをゼロから訓練し直すコストは莫大であり、現実的ではない。バイト化は、すでに訓練済みのトークンベースLLMに対してこの能力を付与する技術として位置づけられる。
本News & Views記事でZhao ZhangとYingfei Xiongが紹介するMinixhoferらの実験的成果によれば、バイト化されたモデルは文字レベルの処理精度を確保しながら、元のモデルと競争力のある性能を維持することが示されている。
なぜ今この問題が重要か
トークン化の手法としては、Sennrichらが2016年に提案した**BPE（Byte Pair Encoding）**が広く普及している。GPTやLLaMAなど現代の主要LLMのほぼすべてがこの系統のトークン化を採用しており、文字レベルの弱点は業界共通の課題だ。
この弱点は単なるトリビア問題にとどまらない。スペルチェック、コード内の文字列操作、多言語対応（特に形態論的に複雑な言語）、正規表現的なパターンマッチングなど、実用上の場面で影響が現れる。バイト化が既存モデルへの後付けとして機能するなら、こうした課題を追加学習コストを最小化しながら解決できる可能性がある。
なお、バイトレベルでテキストを扱う研究自体はこれが初めてではなく、ByT5のようなスクラッチからバイトレベルで訓練したモデルも存在する。Minixhoferらのアプローチが注目される点は、あくまで既存の大規模トークンベースモデルを活かす後付け改修という現実的な路線にある。
原著論文について
本記事はNews & Views解説記事であり、技術的な実装の詳細はMinixhoferらによる原著論文に委ねられている。原著論文のDOIとして本記事中に示されている番号については、Nature 上の正式な掲載情報を直接確認されたい。News & Viewsと原著論文の関係上、実験条件・モデル規模・評価指標といった詳細は原著論文を参照する必要がある。
詳細はRetrofitted LLM can count the letter 'i's in 'artificial intelligence'を参照していただきたい。
