トークンとは何か──LLMの料金とコンテキストを決める最小単位

トークンとは、AIが文章を読み書きするときの最小単位です。ChatGPTやClaudeのような大規模言語モデル（LLM、大量の文章を学習したAI）は、文章を文字のまま処理するのではなく、いったんトークンという細かい部品に分解してから扱います。日本語ではおおむね1文字が1〜数トークンに相当します（正確な数はモデルごとの分割ルールで変わります）。そしてこのトークンは、API料金の課金単位であり、AIが一度に扱える文章量の単位でもあります。AIを仕事で使うなら、お金に直結する概念です。

• トークンはAIが文章を扱う最小単位。API料金は「100万トークンあたり◯ドル」の形で決まる
• 日本語はおおむね1文字=1〜数トークン。ただし正確な数はモデルのトークナイザ次第
• 同じ文章でもモデルによってトークン数が変わるため、単価だけの料金比較には落とし穴がある

トークンとはAIが文章を分解した「部品」のこと

LLMは文章をそのまま理解しているわけではありません。入力された文章は、まずトークナイザ（文章をトークンに分割するプログラム）によって細かい部品に分解され、それぞれ数値に変換されてからモデルに渡されます。「彼は職場に行きます」なら「彼／は／職場／に／行き／ます」のようなイメージです。実際の区切り方はモデルごとに異なり、単語より細かい「サブワード」単位で切る方式が現在の主流です。

英語の目安については、Anthropicの料金ページのFAQに「1トークンはおおよそ英語4文字、または0.75語」と記載されています。日本語は言語の構造が違うため効率も異なり、実務上は「1文字=1〜数トークン」と幅を持って見ておくのが無難です。

なぜトークンを知る必要があるのか

API料金がトークン単位で課金されるから

API（プログラムからAIを呼び出す仕組み）の料金は、主要各社とも「100万トークンあたり◯ドル」という形式です。入力（プロンプトや読ませる資料）と出力（AIの回答）で単価が分かれているのが一般的で、たとえばKimi K3は入力$3／出力$15（いずれも100万トークンあたり）という水準です。Claude各モデルを含む具体的な価格の一覧と比較はAI APIの料金ガイドにまとめているので、そちらを参照してください。

コンテキストウィンドウの単位でもあるから

コンテキストウィンドウ（AIが一度の会話で参照できる文章量の上限）もトークンで数えます。長い資料を読ませたり会話を続けたりするとこの上限に近づき、古いやり取りが参照されなくなったり、そもそも入力を受け付けなくなったりします。「この資料は一度に読ませられるか」の見積もりにも、トークンの感覚が必要になります。

同じ文章でもモデルによってトークン数が違う──料金比較の落とし穴

この記事でいちばん伝えたいのはここです。トークンの区切り方はモデルごとのトークナイザで異なるため、まったく同じ文章を渡しても、数えられるトークン数はモデルによって変わります。つまり「100万トークンあたりの単価」だけを並べて比較しても、実際の請求額の比較にはならない場合があるのです。

具体例があります。Anthropicの公式料金ドキュメント（platform.claude.com）によると、Claude Fable 5やSonnet 5などが採用する新しいトークナイザは「同じテキストに対して約30%多くのトークンを生成する。正確な増加幅は内容や作業の形による」と明記されています。同じ量の日本語を処理しても、旧トークナイザのモデルと新トークナイザのモデルでは消費トークン数が変わる、と提供元自身が言っているわけです。

したがって料金を比較するときは「単価」ではなく「単価×自分の使い方で実際に発生するトークン数」で見る必要があります。事前の見積もりが難しい場合は、少量のテスト実行で実際の消費トークン数をAPIのレスポンスから確認し、それから本格利用に移るのが安全です。

トークン以外のAI用語はAI用語集で解説しています。

正直な但し書き

• 「日本語1文字=1〜数トークン」はあくまで目安です。正確な数はモデルのトークナイザごとに異なり、同じモデルでも文章の内容によって変わります。
• 「約30%多い」という数字は、Anthropicが自社モデルの新旧トークナイザ差について公式ドキュメントで述べているものです。他社モデル間の差がどの程度あるかは、それぞれのトークナイザで実測しないと分かりません。
• 価格や仕様は改定されることがあります。課金にかかわる判断の前には、必ず各社の公式ページで最新情報を確認してください。

出典

• Pricing - Claude Docs（Anthropic公式）
• トークンについて - Microsoft Learn