powered by TechFeed
表示モード
Deep Dive

Claude新トークナイザーは同じTypeScriptコードをGPTより73%多くトークンに変換する — 「1Mトークンあたり◯ドル」だけでは比較できない理由

7月13日、PlayCode.ioが「The Same TypeScript Costs 73% More Tokens on Claude Than GPT」と題した記事を公開した。同一の2,888文字TypeScriptファイルをClaudeの新トークナイザーに通すと1,178トークンになるが、GPT-5.xでは681トークンにしかならない。差は1.73倍(+73%)——料金ページの単価比較では絶対に見えてこない「隠れた乗数」を、実測と請求書の両面から解明した記事だ(なお本記事で言及されるモデル群はいずれも2026年7月時点の最新世代である)。

7月13日、PlayCode.ioが「The Same TypeScript Costs 73% More Tokens on Claude Than GPT」と題した記事を公開した。同一の2,888文字TypeScriptファイルをClaudeの新トークナイザーに通すと1,178トークンになるが、GPT-5.xでは681トークンにしかならない。差は1.73倍(+73%)——料金ページの単価比較では絶対に見えてこない「隠れた乗数」を、実測と請求書の両面から解明した記事だ(なお本記事で言及されるモデル群はいずれも2026年7月時点の最新世代である)。


「1Mトークンあたり◯ドル」は比較にならない

AIモデルの料金ページに並ぶ数字、「$5.00 / 1M input tokens」。横に並べれば安い方が分かる——そう思われているが、この比較には根本的な欠陥がある。

コストの計算式はシンプルだ。

cost = (コンテンツが変換されるトークン数) × (トークン単価)

料金ページが見せているのは後者だけだ。前者、つまり「同じテキストが何トークンになるか」はモデルのトークナイザー(テキストをトークンと呼ぶ単位に分割するコンポーネント)によって異なる。たとえばOpenAIのo200kトークナイザーはウェブ開発で多用されるJavaScript/TypeScriptを大量に学習しており、camelCaseの識別子やJSXパターンを1トークンに圧縮できる(約4.24文字/トークン)。AnthropicのトークナイザーはそこまでTypeScriptに特化していないため、同じコードを処理するとトークン数が膨らむ。同じ「$5.00 / 1M tokens」を掲げていても、トークナイザーが異なれば同じファイルの請求額は変わる。PlayCode.ioはこの「隠れた乗数」を実測した。


核心:同一TypeScriptファイルで1.73倍

実験では2,888文字のTypeScriptファイルを各モデルの実際のトークナイザーでカウントした。

  • GPT-5.x(o200k):681トークン
  • Claude新トークナイザー:1,178トークン
  • 差:1.73倍(+73%)

しかもこれはTypeScriptだけの話ではない。コード全体で見ると:

コンテンツ GPT-5.x Grok 4.5 Gemini 3 Flash Claude(旧) Claude(新)
TypeScript 1.00x 1.05x 1.16x 1.32x 1.73x
Rust 1.00x 1.05x 1.19x 1.22x 1.58x
JavaScript 1.00x 1.11x 1.23x 1.26x 1.52x
Python 1.00x 1.09x 1.20x 1.22x 1.50x
英語散文 1.00x 1.00x 1.01x 1.05x 1.40x

AIコーディングエージェントが終日生成するのは散文ではなくコードだ。そのコード全カテゴリーで差が顕著に出ている。TypeScriptで差が最大になるのはGPTのo200kがTypeScript構文に強く最適化されているためであり、TypeScript固有のバグではない。


二つの「隠れた床」

記事は実質コストの乖離を二層に整理している。

第一の層:同一料金表での静かな値上げ。 Claude Opus 4.6と4.8は同じ$5.00 / $25.00の料金表を持つ。しかし4.8は新しいトークナイザーを搭載しており、同じコードを約29〜39%多くのトークンに変換する。「同じ価格、新モデル」が実質約30%超の値上げになっているが、料金表には一切記載がない。

コンテンツ 旧トークナイザー(Opus 4.6) 新トークナイザー(Opus 4.8) 変化
英語散文 476 636 +34%
TypeScript 898 1,178 +31%
Rust 1,019 1,312 +29%
JSON toolスキーマ 2,631 3,306 +26%
エージェントシステムプロンプト 10,761 14,953 +39%
中国語散文 435 433 ±0%

注目すべきは最終行だ。中国語では新旧トークナイザーでほぼ変化がない。この増加はEnglishとコードに特有の現象である。裏返せば、英語でコードを書くAIエージェントのワークロードが最もこの影響を受けやすい。

なお「+31%のコスト増」の内訳を具体的に示すと、Opus 4.6(旧)で1,000トークン消費するコンテンツをOpus 4.8(新)で処理した場合、トークン数が1,310に増加する。単価は同一の$5.00 / 1Mトークンだから、コスト増加率=トークン増加率(+31%)とほぼ一致する。Sonnet 5($2.00)のように単価も変わるモデル間では、この計算に単価比も掛け合わせる必要がある。

第二の層:コードで最大化するベンダー間格差。 これが冒頭の1.73倍だ。同一コンテンツでClaudeの新トークナイザーはGPTの最大1.73倍のトークンを生成する。


「2〜4倍」という誇張への反論

「ClaudeはGPTの2〜4倍トークンを使う」という主張をSNSや比較記事で見かけることがある。本記事はその数字を実測値で否定している。実測値の範囲は以下だ。

  • 英語散文・HTML・JSON:約1.36〜1.42倍
  • コード(Python/JS/Rust/TypeScript):約1.50〜1.73倍
  • 中国語・記号:約1.44〜1.53倍

73%というトップラインの数字をTypeScriptに絞って提示しているのは「AIコーディングエージェントが終日処理するのがまさにTypeScriptだから」であり、全コンテンツで1.73倍という主張はしていない。「2〜4倍」のような過大な数字が広まると、逆にユーザーが実態を正確に把握できなくなる。実際の請求額に直結する数字を正確に示すことが本記事の趣旨だ。


請求書で確認した

トークンカウンターの数字が本当に請求に反映されるかも検証している。同一コンテンツでmax_tokens: 1の実リクエストを発行し、Anthropic APIのusage.input_tokensフィールドを確認した結果:

  • Opus 4.6:2,541トークン請求
  • Opus 4.8:3,191トークン請求

count_tokensエンドポイントの予測と1トークンの誤差もなく一致。この検証コストは約**$0.08**だった。また最高価格モデルのFable 5($10/$50)も3,191トークンでOpus 4.8と完全一致しており、隠れたトークン割増はない。


Sonnet 5の割引は「移行期限定」

Claude Sonnet 5は$2.00 / $10.00でローンチされ、前世代Sonnet 4.6の$3.00 / $15.00より安く見えた。しかしこの価格は2026年8月31日までの期間限定だ。

新トークナイザーで約32%多くトークンが生成される中、$2.00の単価は1/3安く設定されているため期間中はわずかに有利になる計算だ。だが期間終了後は$3.00の標準価格に戻り、+32%のトークン増加はそのまま残る。結果として同一コードの処理コストはSonnet 4.6比で約32%高くなる。割引は移行期のクッションであり、恒久的な値下げではなかった。


詳細はThe Same TypeScript Costs 73% More Tokens on Claude Than GPTを参照していただきたい。