定点

日本語は英語の何倍のトークンを使うのか──12組の対訳を6つのトークナイザで数えた

測り続けて更新 公開 ・データ 2026.08.15〜2026.11.15

毎日測り直していて、数値が変わったら書き換えます。

GPT-4 世代のトークナイザで数えると、日本語は英語の2.04倍のトークンになった。

日本語でAIを使うと費用がかさむ、とはよく言われる。ただ、具体的に何倍なのかという数字は、私が探した範囲では見つからなかった。日本語の効率を続けて測っているところも見当たらない。

そこで自分で測ることにした。同じ内容を日本語と英語で書いた12組の文章を用意し、6つのトークナイザでトークン数を数えている。Claude と Gemini は手元では数えられないので、今回は入っていない。

差はトークナイザによって大きく違った。そして新しい世代に変わったとき、大きく減ったのは日本語の側だった。

日本語は英語の1.29〜2.04倍。差はトークナイザで大きく変わる

12組の対訳では、同じ内容を書いたとき、日本語は英語の 1.29倍から2.04倍 のトークンになった。同じ文章を数えているので、差を生む大きな要因はトークナイザの語彙や分け方の規則の違いである。

トークナイザ日本語英語日英比日本語の文字/トークン
DeepSeek-V34203251.29倍1.58
DeepSeek-V4-Pro4203251.29倍1.58
Qwen34313241.33倍1.54
OpenAI o200k_base4713231.46倍1.41
gpt-oss-20b4713231.46倍1.41
OpenAI cl100k_base6613242.04倍1.01

(コーパス12組の合計トークン数。2026-11-15 測定。日英比の出し方は数値の出し方)

6つのうち、DeepSeek の2つと、o200k_base と gpt-oss-20b は、この12組で合計トークン数が一致したので、結果は実質4通りである。DeepSeek の2つは、確かめた代表的な文字列で語彙IDも一致した。V4 は V3 の語彙を保ったまま拡張されている(既存トークンのIDは変わっていない)。gpt-oss-20b と o200k_base も、手元で読み込んだ語彙はどちらもサイズ200,019で、代表的な文字列のID列も同じだった。

日英比は、対訳の訳し方しだいで動く。英訳を短くまとめれば比は大きくなるので、「この12組では」の数字として読んでほしい。

API の課金はトークン単位なので、同じ単価のモデル同士なら、この比がそのままコストの比になる。ただし請求額そのものの倍率ではない。入力と出力で単価が違い、キャッシュやシステムプロンプトの分も乗るからだ。

GPT-4o 世代に変わって、大きく減ったのは日本語だった

表の中で目を引くのは、OpenAI の2つの差だ。cl100k_base(GPT-4・GPT-3.5 世代)が2.04倍なのに対し、o200k_base(GPT-4o 以降)は1.46倍まで下がっている。日本語のトークン数にして約29%の削減である。

OpenAI の新旧トークナイザで12組を数えたトークン数
日本語(GPT-4 世代・cl100k_base)661
日本語(GPT-4o 世代・o200k_base)471
英語(GPT-4 世代)324
英語(GPT-4o 世代)323

英語の側はほとんど動いていない(324→323トークン)。この12組に限れば、日本語の側だけが大きく減ったことになる。

1トークンあたり何文字を表せるかで見ると、もっとはっきりする(数字が大きいほど効率が良い)。cl100k_base は 1.01 で、日本語の文章がほぼ1文字1トークンだった。o200k_base では 1.41 になり、1トークンが表す文字数が増えた。

長文の解説と技術文書が高くついた

同じ日本語でも、書き方によって差の大きさが変わる。

カテゴリ組数日本語/英語トークン数
(cl100k)
cl100ko200kQwen3DeepSeek-V3
長文/解説1143/612.341.591.441.34
技術文書/実装説明2134/592.271.581.631.42
技術文書/注意喚起148/222.181.551.321.41
技術文書/比較評価2103/482.151.501.331.27
口語/対話283/431.931.430.951.14
敬語/ビジネス274/421.761.241.191.21
コード混在276/491.551.291.291.24

高くついたのは、長文の解説と技術文書だった。口語・敬語・コード混在は比較的低い。どのカテゴリも1〜2組しかないので、この12組での傾向として見てほしい。漢字熟語が1文字ずつ分かれやすいからだろうと考えているが、漢字の割合までは測っていないので仮説だ。

コード混在で差が縮むのは、日英どちらにも同じコードが入って比が1に近づく影響があると考えている(コードを除いた日本語の部分だけは測っていない)。

例外は Qwen3 の口語/対話で、0.95倍と1を切った。この条件だけは、日本語のほうが英語より少ないトークンで済んでいる。ただ、このカテゴリは2組しかないので断定はできない。

日本語で使うなら、見直せること

GPT-4 世代のモデルを使い続けているなら、見直してみる価値がある。 同じ日本語の文章で、新旧の世代でトークン数が29%違った。多くのチャットでは会話の履歴をまとめて送り直すので、長い日本語のセッションではこの差が積み重なる可能性がある(キャッシュや要約の仕組みもあるので、どれだけ効くかは実運用のログで確かめる必要がある)。

いちばん確実なのは、自分がふだん書いている文章で測り直すことだ。 仕様書でもプロンプトでも会話ログでもいい。数本入れてみると、私の12組の平均より、自分の使い方に近い数字が出る。測り方は測定方法に書いてある。

使っていて感じること

数字を見る前から、日本語は重いという感覚はあった。長い作業をしていると、思っていたより早く週の利用枠を使い切る(利用枠がトークン数だけで決まるかは公開されていないので、これは体感であって測定ではない)。

意外だったのは2倍という差の大きさだった。1割か2割くらいの話だと思っていた。GPT-4 世代のAPIで日本語に月$30払っているなら、単純計算でそのうち約3割($9弱)はトークナイザの世代の差で上乗せされているぶんということになる(やり取りがすべて日本語の文章で、単価も同じと仮定した計算。実際は単価もキャッシュの扱いも違うので、正確な金額はこの計算からは出ない)。GPT-4 から GPT-4o への更新で英語がほとんど動いていなかったことも、当時そんな説明を見た記憶がない。知らないうちに、数字だけが変わっていたことになる。

この12組は、私が用意した仮定の文章だ。実際の開発作業でどれだけ使っているかは、そのあと自分の利用ログで数えた。

参考:この記事の数値の出し方

対象と期間: 初回の測定は2026-08-15、直近の再測定は2026-11-15。コーパスは version 1 の12組で、私が自作した。カテゴリは7種類で、私が実際に書く文章に寄せてある(技術文書の実装説明・比較評価・注意喚起、コード混在、口語、敬語、長文解説)。

数え方: 表の数字は12組の合計トークン数。トークナイザは手元で動かしている(OpenAI 系は tiktoken、それ以外は Hugging Face の tokenizers)。文の始まりや終わりを示す特殊トークンはモデルごとに付き方が違うので数えていない。文字数は、空白・記号・コードも1文字として数えている。

計算式:

  • 日英比 = 日本語のトークン数 ÷ 英語のトークン数(例: cl100k_base は 661 ÷ 324 = 2.04)
  • 日本語のトークン数の削減 = (661 − 471) ÷ 661 ≒ 29%
  • 日本語の文字/トークン = 日本語の文字数 ÷ 日本語のトークン数

見えないこと:

  • Claude と Gemini は測れていない。公式のトークナイザが公開されておらず、各社のトークン数計算APIにはAPIキーが要る。この記事はすべて手元で測る方針なので、今回は使っていない。非公式のトークナイザは公式と一致する保証がないので使っていない
  • gpt-oss は会話用の特殊トークンを別に持っている。会話の形式に包んだ入力の数え方までは確かめていない
  • 対訳の訳し方で日英比は動く。カテゴリによっては1〜2組しかない

更新の条件: 12組の文面は変えない(変えると過去の測定と比べられなくなる)。12組は8月15日から11月15日までの間に86日分測り直していて、6つのトークナイザすべてで数値は一度も動かなかった。測るたびに、語彙のサイズと代表的な文字列の分け方も記録している。トークナイザが差し替わって数値が変わったら、確かめてこの記事を書き換える。トークナイザが変わらない限り数値は動かないので、日付が古いこと自体は問題にならない。

共通の手順は測定方法にある。この記事にアフィリエイトリンクは含まれていない。


誤りに気づいたら教えてもらえると助かります。