トークンとは──ChatGPT・Claudeなど生成AIが文章を数える単位。日本語は筆者の実測で1文字ほぼ1トークン前後、API料金と一度に読める量の両方がこの数で決まる【2026年10月版】

2026年10月8日・日本時間時点の情報です。 AIのトークンとは、ChatGPTやClaudeのような生成AIが文章を区切って数える最小の単位のことで、API（プログラムからAIを使う方法）の料金も、AIが一度に読める文章量の上限も、この数で決まります。トークン数で料金が決まるのはAPIの従量課金の場合で、ChatGPTやClaudeのアプリの月額プランは、使ったトークン数から金額が計算される仕組みではありません。この記事は、辞書と各社の公式ページに書かれている意味、日本語がどれくらいのトークンになるか、料金や上限との関係を、2026年10月8日に取り直した原文で整理します。

3行まとめ

1. 意味。 デジタル大辞泉は、AI向けの意味を「大規模言語モデルにおける、文章の最小単位」と書く。1トークンは1文字、単語の一部、単語全体、句読点のどれにもなる（OpenAIのヘルプ）。
2. 日本語は何トークンか。 英語は「1トークンが約4文字」が各社の目安。日本語の公式の換算値は今回取得したページに無く、デジタル大辞泉は「一般に日本語は英語に比べてトークン数が多くなる」と書く。筆者がtiktokenで数えた日本語300字は230〜292トークン。
3. お金と上限。 API料金は「100万トークンあたり」の単価で、例としてClaude Sonnet 5.5もgpt-6.1-solも入力$2・出力$10（2026年10月8日）。Claude 4.7以降は新しいトークナイザで同じ文章が約30%多く数えられる。

トークンとは何か──辞書と各社の公式はどう定義しているか

まず、一般の辞書の定義です。デジタル大辞泉（コトバンク掲載）の「トークン」には、証拠、代用貨幣、認証用の小型装置と並んで、4番目にAI向けの意味があります。

対話型AIなどの大規模言語モデルにおける、文章の最小単位。入力された文字列をこの単位で区切り、パラメーターを付与して文章を生成する。学習モデルや言語によって区切り方は異なり、一般に日本語は英語に比べてトークン数が多くなる。

大規模言語モデル（LLM）は、大量の文章を学習したAIのことです。ChatGPT、Claude、Geminiはその一種です。

OpenAIのヘルプセンターは、同じことを次のように書いています。

Tokens are the units that OpenAI models use to process text. A token can represent a character, part of a word, a whole word, or punctuation.

（訳: トークンは、OpenAIのモデルがテキストを処理するときに使う単位です。トークンは、1文字、単語の一部、単語全体、句読点のどれかを表せます。）

Googleのドキュメントは「Gemini モデルの場合、1 個のトークンは約 4 文字に相当します。100 個のトークンは、約 60 ～ 80 ワード（英語）に相当します」と書きます。Microsoft Learnは、文章がトークナイザ（文章をトークンに分割するプログラム）によって単語、文字セット、単語と句読点の組み合わせなどに分けられると説明し、主な方式として単語・文字・サブワード（単語の一部）の3つを挙げています。OpenAIのGPTモデルは、サブワード方式のByte-Pair Encoding（BPE）を使うと同ページにあります。

つまり、トークンは「単語」でも「文字」でもなく、AIごとに決まった分け方で作られる部品です。筆者のtiktokenでの実測では、「こんにちは」は2つの分割ルールのどちらでも1トークンでしたが、「鬱」は2〜3トークン、「躊躇」は4〜6トークンに割れました（数えた道具と条件は次の節に書きます）。

日本語は何トークンになるのか

英語については、各社が同じ目安を出しています。Anthropicの料金ページのFAQは「1 token is approximately 4 characters or 0.75 words in English」（訳: 英語では1トークンはおよそ4文字、または0.75語）と書き、OpenAIのヘルプも「1 token is approximately 4 characters」「100 tokens are approximately 75 words」と同じ数字を挙げます。

日本語はどうか。筆者が2026年10月8日に取得したAnthropic、OpenAI、Googleの上記ページで「日本語」と「Japanese」を探しましたが、日本語に限った換算値はありませんでした。書かれているのは次の文言までです。

• Anthropic: 「The exact count varies by language and content type.」（訳: 正確な数は言語と内容の種類で変わります。）
• OpenAI: 「other languages can have different relationships between characters, words, and tokens」（訳: ほかの言語では、文字・単語・トークンの関係が違うことがあります。）

そこで、公開されているライブラリで実際に数えました。OpenAIが公開しているtiktoken（バージョン0.14.0）に入っている2種類の分割ルールを使い、Microsoft Learnの日本語の文章300字と、短い文で数えた結果です。

この表の読み方は次のとおりです。

• 日本語300字は、新しいほうの分割ルール（o200k_base）で230トークン、古いほう（cl100k_base）で292トークンでした。1文字あたり0.8〜1.0トークン前後です。
• 短い文は、1文字が1トークンを超えることもあります（古いルールの28字が33トークン）。
• 同じ意味の英語の文は53文字で11トークンです。日本語の文は28字で24〜33トークンなので、文字数は半分でもトークン数は2倍以上でした。デジタル大辞泉の「日本語は英語に比べてトークン数が多くなる」と同じ向きです。

この数字には限りがあります。数えたのはOpenAIの公開ライブラリの2つの分割ルールだけで、ClaudeやGeminiの現在のトークナイザは数えていません。文章も、技術説明の300字と短い文数本です。小説や会話文、顔文字や絵文字の多い文章で同じ割合になるとは言えません。「1文字がほぼ1トークン前後」は目安として使い、正確な数が要るときはそのAIの公式のカウント機能を使ってください。

トークンは料金とどう結びつくのか

APIの料金は、入力トークン（AIに渡した文章）と出力トークン（AIが書いた文章）の数に、単価を掛けて決まります。OpenAIのヘルプは、入力・キャッシュ済み入力・出力でトークンの種類が分かれ、料金も違うと書きます。さらに、推論モデルが答えを出す前に内部で使うトークンも出力トークンとして課金されると説明しています。

2026年10月8日に各社の料金ページを開いて読み取った、標準の料金（100万トークンあたり、米ドル）は次のとおりです。

Claude Haiku 5.5は、Anthropicのリリースノートの日付で2026年10月7日に公開されたモデルです。プロンプトが10万トークンを超えると入力$0.50・出力$2.50になる、と料金ページは書いています。OpenAIの料金ページも、入力が272Kトークンを超える「Long context」には別の高い単価を載せています。モデルの種類や割引の条件は多く、この表は一部です。全体の比較はAI APIの料金ガイドを、ChatGPTとClaudeのプラン料金はClaudeの料金とChatGPTの比較を見てください。

たとえば、日本語3,000字の記事を入力に渡すと、上の実測（1文字0.77〜0.97トークン）では約2,300〜2,900トークンです。入力が$2/100万トークンのモデルなら、1回あたり$0.005〜$0.006の計算になります。これは筆者の概算で、Claudeの数え方では数字が変わります。

なお、ChatGPTやClaudeのアプリの月額プランが、このトークン数でそのまま課金されるわけではありません。本記事が扱うのはAPIの課金です。アプリ側の無料枠はChatGPTの無料プランの上限を見てください。

トークンは「一度に読める量」の上限にもなる

AIには、一度の処理で扱える文章の上限があります。Microsoft Learnは、入力と出力のトークンの最大数を、多くの場合は両方を合わせたコンテキストウィンドウとして表すと書いています。OpenAIのヘルプも、コンテキストウィンドウは1回のリクエストで処理できるトークン数を制限し、モデルには出力の上限もあると説明します。入力が大きすぎるときの対処として、プロンプトを短くする、重複した文脈を消す、入力を小さく分ける、送る前に要約する、の4つを挙げています。

各モデルの現在の上限と、超えたときの動きはコンテキストウィンドウとはにまとめています。この記事では繰り返しません。

同じ文章でもAIによって数が変わる

トークンの数は、AIごとの分割ルールで変わります。筆者の表でも、同じ300字がcl100k_baseとo200k_baseで292と230でした。

Anthropicはこの差を公式に書いています。

Claude 4.7 and later models and Claude Mythos Preview use a newer tokenizer that contributes to their improved performance on a wide range of tasks. This tokenizer produces approximately 30% more tokens for the same text. The exact increase depends on the content and workload shape. Claude Sonnet 4.6 and earlier models use the previous tokenizer.

（訳: Claude 4.7以降のモデルとClaude Mythos Previewは、新しいトークナイザを使う。このトークナイザは、同じテキストで約30%多くのトークンを作る。増える幅は内容や作業の形で変わる。Claude Sonnet 4.6以前のモデルは以前のトークナイザを使う。）

Token countingのページにも「Recount prompts against the model you plan to use rather than reusing counts measured against earlier models」（訳: 以前のモデルで測った数を使い回さず、使うつもりのモデルで数え直す）とあります。

OpenAIのヘルプも同じ注意を書いています。

A lower price per million tokens does not necessarily produce a lower total cost: models can tokenize the same text differently and generate different amounts of output or reasoning.

（訳: 100万トークンあたりの価格が低くても、総コストが低いとは限りません。同じテキストでもモデルによってトークン化の結果が異なり、生成される出力や推論の量も異なるためです。）

料金を比べるときは、単価だけでなく、自分の文章で実際に数えたトークン数を掛けた額で見てください。

Claudeのトークナイザが変わった境目はどこか

Anthropicのモデルの世代で、トークナイザが変わっています。料金ページ、Token counting、Claude Haiku 5.5のモデルのページの記述から読み取れる範囲は次のとおりです。

Token countingのページは、この新しいトークナイザを「introduced with Claude Opus 4.7」（Claude Opus 4.7で導入された）と書いています。Claude Haiku 5.5のモデルのページも、同じ新しいトークナイザを使うため、同じ文章がClaude Haiku 4.5より約30%多く数えられると書いています。単価が安くなっても、数えられるトークンが増える分は差し引いて見る必要があります。各モデルの提供日は、Haiku 5.5のほかは取得したページで確かめていないため、日付は載せていません。

筆者が開いた公式の画面

2026年10月8日の午前4時25分ごろ、ログインせずに次の公式ページを、画面つきでない状態のブラウザ（1280×800と390×844）で開きました。

• OpenAIのヘルプ「Understanding and counting tokens」は、英語版と日本語版の両方が開きました。日本語版の冒頭に「このページは機械翻訳されています」と出て、「更新日: 7 日前」と表示されていました。
• Googleの「トークンを理解してカウントする」は日本語表示で開き、冒頭の2つ目の段落に「Gemini モデルの場合、1 個のトークンは約 4 文字に相当します」と出ました。
• Anthropicの料金ページを開くと、FAQの「How is token usage calculated?」に英語の目安が載っていました。
• OpenAIのTokenizerのページ（platform.openai.com/tokenizer）は「しばらくお待ちください...」の確認画面になったので、確認画面には触らず、そのページは使いませんでした。

日本語の数字は公式に無く、実測もOpenAIの2種類だけ

• 日本語の換算値を公式の文書で見つけられませんでした。筆者が探したのは、Anthropicの料金ページとToken countingのページ、OpenAIのヘルプ、Googleのトークンのページです。ほかのページにある可能性は否定できません。
• 筆者の実測は、OpenAIの公開ライブラリの2種類の分割ルールだけです。Claude 5.5系やGeminiの現在のトークナイザでの日本語の数は確認していません。
• 暗号資産のトークンについて、金融庁などの公的な定義は取得していません。ここでは、Wikipediaの「トークン」のページが非代替性トークンを別の項目に挙げ、デジタル大辞泉が認証用の小型装置とAIの意味を別の語義に分けていることまでを根拠にしています。デジタル大辞泉の4つの語義に、暗号資産の意味はありませんでした。
• 料金表の数字は2026年10月8日の取得時点のものです。更新される可能性があります。

本文で名指しした11のページ

• トークン - デジタル大辞泉（コトバンク）
• トークン - Wikipedia
• Understanding and counting tokens - OpenAI Help Center
• トークンを理解してカウントする - Gemini API ドキュメント
• Pricing - Claude Docs
• Token counting - Claude Docs
• Claude Haiku 5.5 - Claude Docs
• Release notes - Claude Docs
• Pricing - OpenAI API
• Model Inference Pricing Explanation - Kimi API Platform
• トークンについて - Microsoft Learn

トークンの先にある仕組みは、LLMとはとなぜLLMは会話できるのか（次のトークンを予測する仕組み）に、AI用語の一覧はAI用語集にあります。