トークンカウンター

用途

LLM とのやり取りはすべて トークン 単位で課金されます。トークンは、モデルのトークナイザがテキストを切り分けるサブワード単位です。コンテキスト窓の上限（「収まるか」）も、料金（「いくら掛かるか」）もトークンで決まります。正確な数はモデルのトークナイザに依存しますが、手元にないことが普通です。本ツールは主要モデルごとの推定値を並べて表示し、公表されている単価で本テキストの推定コスト（USD）も出します。

使うべきタイミング

• システムプロンプトのサイジング。ユーザー入力と出力余裕を加えてもコンテキスト窓に収まるかを確かめる。
• バッチジョブを実行する前の API コスト見積り。代表的な入力を 100 件貼り付けて掛け算するだけ。
• プロンプト改良の比較。本当に短くなったのか、それともそう感じただけなのか。
• 「長すぎる」エラーが、見えない空白・BOM・コピペノイズで膨らんでいないかのサニティチェック。

精度についての本音

• これらはヒューリスティックであり、本物のトークナイザではありません。 tiktoken（OpenAI）、Anthropic のトークナイザ、SentencePiece（Llama・Gemini・Mistral）はそれぞれ切り方が違います。英語散文では ±5% 程度、コード／密な JSON／CJK は ±10% 以上ぶれることがあります。
• 本物のトークナイザを同梱しない理由。 tiktoken だけで WASM ＋データで約 1 MB あり、トークンを数えるためだけにページサイズを 10 倍にする価値はありません。厳密な数が必要なら、Python でローカルに tiktoken を回すか、各モデルの /v1/tokenize エンドポイントを叩いてください。
• このツールが正しく示すもの。 同じテキストでどのモデルがトークンを多く使うかという相対順位は信頼できます。コスト順位もほぼ正確。「500 トークンなのか 5000 なのか」といったオーダー判定はほぼ常に当たります。

料金に関する補足

• 料金は 2025 年時点の 入力 1M トークン単価です。出力は通常もっと高価で、最悪ケース見積りでは 3〜5 倍してください。
• Llama 3 はゼロ表示にしています。典型的にはセルフホストで使うためです。ホスティング業者（Together、Groq、Fireworks）はサイズに応じて 1M あたり $0.20〜$1 程度を課金します。
• 料金は変動します。本気の予算計算では各プロバイダの料金ページを必ず確認してください。

よくある落とし穴

• トークン ≠ 単語。 英単語は平均 1.3 トークン。長い学術語は 5〜10 トークン。コードや構造化テキストは文字数あたりずっと密度が高いです。
• CJK は密度が高い。 中日韓の各文字がそのまま 1 トークンになることがあるため、1000 文字 ≒ 1000 トークン。英語に比べて 1 文字あたりの単価がかなり高くなります。
• 不可視文字が積み上がる。 ゼロ幅結合子、NBSP、BOM などはすべて数えられます。値が異常に高いときは Unicode Inspector を使ってください。
• System／User／Assistant は積算。 コンテキスト窓は会話全メッセージを含みます。素の上限ぎりぎりで設計せず、応答用に 30〜50% の余裕を残しましょう。