GPT-4 世代のトークナイザで数えると、日本語は英語の2.04倍のトークンになった。
日本語でAIを使うと費用がかさむ、とはよく言われる。ただ、具体的に何倍なのかという数字は、私が探した範囲では見つからなかった。日本語の効率を続けて測っているところも見当たらない。
そこで自分で測ることにした。同じ内容を日本語と英語で書いた12組の文章を用意し、6つのトークナイザでトークン数を数えている。Claude と Gemini は手元では数えられないので、今回は入っていない。
差はトークナイザによって大きく違った。そして新しい世代に変わったとき、大きく減ったのは日本語の側だった。
日本語は英語の1.29〜2.04倍。差はトークナイザで大きく変わる
12組の対訳では、同じ内容を書いたとき、日本語は英語の 1.29倍から2.04倍 のトークンになった。同じ文章を数えているので、差を生む大きな要因はトークナイザの語彙や分け方の規則の違いである。
| トークナイザ | 日本語 | 英語 | 日英比 | 日本語の文字/トークン |
|---|---|---|---|---|
| DeepSeek-V3 | 420 | 325 | 1.29倍 | 1.58 |
| DeepSeek-V4-Pro | 420 | 325 | 1.29倍 | 1.58 |
| Qwen3 | 431 | 324 | 1.33倍 | 1.54 |
| OpenAI o200k_base | 471 | 323 | 1.46倍 | 1.41 |
| gpt-oss-20b | 471 | 323 | 1.46倍 | 1.41 |
| OpenAI cl100k_base | 661 | 324 | 2.04倍 | 1.01 |
(コーパス12組の合計トークン数。2026-11-15 測定。日英比の出し方は数値の出し方)
6つのうち、DeepSeek の2つと、o200k_base と gpt-oss-20b は、この12組で合計トークン数が一致したので、結果は実質4通りである。DeepSeek の2つは、確かめた代表的な文字列で語彙IDも一致した。V4 は V3 の語彙を保ったまま拡張されている(既存トークンのIDは変わっていない)。gpt-oss-20b と o200k_base も、手元で読み込んだ語彙はどちらもサイズ200,019で、代表的な文字列のID列も同じだった。
日英比は、対訳の訳し方しだいで動く。英訳を短くまとめれば比は大きくなるので、「この12組では」の数字として読んでほしい。
API の課金はトークン単位なので、同じ単価のモデル同士なら、この比がそのままコストの比になる。ただし請求額そのものの倍率ではない。入力と出力で単価が違い、キャッシュやシステムプロンプトの分も乗るからだ。
GPT-4o 世代に変わって、大きく減ったのは日本語だった
表の中で目を引くのは、OpenAI の2つの差だ。cl100k_base(GPT-4・GPT-3.5 世代)が2.04倍なのに対し、o200k_base(GPT-4o 以降)は1.46倍まで下がっている。日本語のトークン数にして約29%の削減である。
英語の側はほとんど動いていない(324→323トークン)。この12組に限れば、日本語の側だけが大きく減ったことになる。
1トークンあたり何文字を表せるかで見ると、もっとはっきりする(数字が大きいほど効率が良い)。cl100k_base は 1.01 で、日本語の文章がほぼ1文字1トークンだった。o200k_base では 1.41 になり、1トークンが表す文字数が増えた。
長文の解説と技術文書が高くついた
同じ日本語でも、書き方によって差の大きさが変わる。
| カテゴリ | 組数 | 日本語/英語トークン数 (cl100k) | cl100k | o200k | Qwen3 | DeepSeek-V3 |
|---|---|---|---|---|---|---|
| 長文/解説 | 1 | 143/61 | 2.34 | 1.59 | 1.44 | 1.34 |
| 技術文書/実装説明 | 2 | 134/59 | 2.27 | 1.58 | 1.63 | 1.42 |
| 技術文書/注意喚起 | 1 | 48/22 | 2.18 | 1.55 | 1.32 | 1.41 |
| 技術文書/比較評価 | 2 | 103/48 | 2.15 | 1.50 | 1.33 | 1.27 |
| 口語/対話 | 2 | 83/43 | 1.93 | 1.43 | 0.95 | 1.14 |
| 敬語/ビジネス | 2 | 74/42 | 1.76 | 1.24 | 1.19 | 1.21 |
| コード混在 | 2 | 76/49 | 1.55 | 1.29 | 1.29 | 1.24 |
高くついたのは、長文の解説と技術文書だった。口語・敬語・コード混在は比較的低い。どのカテゴリも1〜2組しかないので、この12組での傾向として見てほしい。漢字熟語が1文字ずつ分かれやすいからだろうと考えているが、漢字の割合までは測っていないので仮説だ。
コード混在で差が縮むのは、日英どちらにも同じコードが入って比が1に近づく影響があると考えている(コードを除いた日本語の部分だけは測っていない)。
例外は Qwen3 の口語/対話で、0.95倍と1を切った。この条件だけは、日本語のほうが英語より少ないトークンで済んでいる。ただ、このカテゴリは2組しかないので断定はできない。
日本語で使うなら、見直せること
GPT-4 世代のモデルを使い続けているなら、見直してみる価値がある。 同じ日本語の文章で、新旧の世代でトークン数が29%違った。多くのチャットでは会話の履歴をまとめて送り直すので、長い日本語のセッションではこの差が積み重なる可能性がある(キャッシュや要約の仕組みもあるので、どれだけ効くかは実運用のログで確かめる必要がある)。
いちばん確実なのは、自分がふだん書いている文章で測り直すことだ。 仕様書でもプロンプトでも会話ログでもいい。数本入れてみると、私の12組の平均より、自分の使い方に近い数字が出る。測り方は測定方法に書いてある。
使っていて感じること
数字を見る前から、日本語は重いという感覚はあった。長い作業をしていると、思っていたより早く週の利用枠を使い切る(利用枠がトークン数だけで決まるかは公開されていないので、これは体感であって測定ではない)。
意外だったのは2倍という差の大きさだった。1割か2割くらいの話だと思っていた。GPT-4 世代のAPIで日本語に月$30払っているなら、単純計算でそのうち約3割($9弱)はトークナイザの世代の差で上乗せされているぶんということになる(やり取りがすべて日本語の文章で、単価も同じと仮定した計算。実際は単価もキャッシュの扱いも違うので、正確な金額はこの計算からは出ない)。GPT-4 から GPT-4o への更新で英語がほとんど動いていなかったことも、当時そんな説明を見た記憶がない。知らないうちに、数字だけが変わっていたことになる。
この12組は、私が用意した仮定の文章だ。実際の開発作業でどれだけ使っているかは、そのあと自分の利用ログで数えた。
参考:この記事の数値の出し方
対象と期間: 初回の測定は2026-08-15、直近の再測定は2026-11-15。コーパスは version 1 の12組で、私が自作した。カテゴリは7種類で、私が実際に書く文章に寄せてある(技術文書の実装説明・比較評価・注意喚起、コード混在、口語、敬語、長文解説)。
数え方: 表の数字は12組の合計トークン数。トークナイザは手元で動かしている(OpenAI 系は tiktoken、それ以外は Hugging Face の tokenizers)。文の始まりや終わりを示す特殊トークンはモデルごとに付き方が違うので数えていない。文字数は、空白・記号・コードも1文字として数えている。
計算式:
- 日英比 = 日本語のトークン数 ÷ 英語のトークン数(例: cl100k_base は 661 ÷ 324 = 2.04)
- 日本語のトークン数の削減 = (661 − 471) ÷ 661 ≒ 29%
- 日本語の文字/トークン = 日本語の文字数 ÷ 日本語のトークン数
見えないこと:
- Claude と Gemini は測れていない。公式のトークナイザが公開されておらず、各社のトークン数計算APIにはAPIキーが要る。この記事はすべて手元で測る方針なので、今回は使っていない。非公式のトークナイザは公式と一致する保証がないので使っていない
- gpt-oss は会話用の特殊トークンを別に持っている。会話の形式に包んだ入力の数え方までは確かめていない
- 対訳の訳し方で日英比は動く。カテゴリによっては1〜2組しかない
更新の条件: 12組の文面は変えない(変えると過去の測定と比べられなくなる)。12組は8月15日から11月15日までの間に86日分測り直していて、6つのトークナイザすべてで数値は一度も動かなかった。測るたびに、語彙のサイズと代表的な文字列の分け方も記録している。トークナイザが差し替わって数値が変わったら、確かめてこの記事を書き換える。トークナイザが変わらない限り数値は動かないので、日付が古いこと自体は問題にならない。
共通の手順は測定方法にある。この記事にアフィリエイトリンクは含まれていない。