測定方法
このページには、どの記事にも共通する測り方を書いています。記事ごとの手順・計算式・期間は、各記事の末尾の「参考:この記事の数値の出し方」にあります。
測っているもの
| データ | 中身 | 頻度 |
|---|---|---|
| 日本語のトークン数 | 同じ内容を日本語と英語で書いた文章を、各社のトークナイザで数える | 毎日 |
| 価格・仕様のページ | 主要なAI開発ツールの公式ページを保存し、前回との違いを記録する | 毎日 |
| 話題とダウンロード数 | Hacker News の投稿、npm・PyPI のダウンロード数、Wikipedia の閲覧数 | 毎日 |
| 自分の利用量 | 手元の Claude Code のログから、応答ごとのトークン数を集計する | 毎日 |
共通の原則
- 原則として毎日、同じ設定で取る。収集はクラウド上で毎日自動で動いています。取得先や道具の変更で設定を変えたときは、その日と内容を記録に残します
- 取れたものは捨てない。測定値と、取れたか取れなかったかは毎日残します。集計方法を変えても、遡って計算し直せます
- 判断はコードに入れない。スクリプトは測って記録するだけで、「その変化が重要か」の解釈は人が行います
集め方と数え方
- 1日は日本時間の0時から24時。集計したその日は途中なので、集計に入れません
- 取れなかった日は、欠測として残します。値を推測で埋めることはしません。後から取り直せるデータは取り直し、取り直せないもの(ページの過去の状態など)は欠測のままにします
- 集計が終わっていない値は記録しません。配信元の集計が数日遅れることがあるので、集計期間の最終日は、そのデータが揃っている最新の日にします
- ページは、比べやすいように本文だけのテキストに整えて(正規化)比べます。日付やセッションIDのように毎回変わる部分は伏せます。同じ内容だった日は保存せず、変化があった日だけ保存します
- 取れたページが本物かを確かめます。配信元が一時的に別のページを返すことがあるので、ページごとに「本物なら必ず含まれる語」を決め、含まれていなければ取り直し、それでも違えば保存しません
- 予告なく変わるものは、毎回の様子を記録します。トークナイザやページは知らないうちに変わることがあるので、前回と比べて変化に気づけるようにしています
- 金額は換算です。「APIで払ったらいくらか」は、トークン数に公式の単価を掛けて出した値で、実際に払った額ではありません。単価は公式ページを見て転記し、ラベル付きで載っているページでは、転記した値と公式の表示が一致しているかを機械で照合しています
測定全体の限界
- 1人ぶんの記録です。利用量は私1人・1台の記録で、ほかの人の使い方に当てはまるとは限りません
- 手元で測れないものは載せていません。たとえば Claude と Gemini のトークン数は、手元では数えられないので今は含めていません。推測した値を、測った値のように並べることはしません
- 欠測があります。取れなかった日はトップページの観測簿にそのまま残しています。ページの変化は、取れなかった日の分だけ記録される日付が遅れることがあります