生成AIにおける「トークン」とは？をやさしく解説

2025年8月13日 2025年9月5日

fukayayuji

はじめに

最近、「生成AIを使ってみたけど、思ったより長文が入らない」「API利用料が予想より高い」という声をよく耳にします。実は、その裏にあるキーワードが「トークン（token）」です。

トークンは生成AIの世界ではお金にも性能にも直結する重要な概念ですが、まだ多くの企業利用者には十分浸透していません。この記事では、ビジネス利用の視点からトークンをわかりやすく解説し、コスト削減や精度維持につながる実践ポイントを紹介します。

一言で言うと、AIが文章を理解・生成するための最小単位です。

以下に、その具体例を示します。

「私は生成AIが好きです」

↓

["私は", "生成", "AI", "が", "好き", "です"]

↓

[101, 202, 303, 404, 505, 606] ← AIが扱うID列

つまり、AIは「文字」ではなく「トークン」で世界を見ています。

1．入力制限がトークン数で決まる

「最大◯文字」ではなく「最大◯トークン」。生成AIのモデルによって最大トークン長は異なりますが、長すぎる入力は途中で切られる可能性があります。

2．料金計算もトークン数で行われる

例えば「1Mトークンあたり◯ドル」という単位で課金。トークンが多いほど料金が増えます。

3．精度にも影響

モデルが扱える情報量（コンテキスト長）を超えると、古い情報から忘れ始めます。

1．冗長な表現を短くする

2．敬語を簡潔化する

3．固有名詞は英語や略称にする

4．数字や日付は半角にする

5．長文は段落ごとに分けて処理する

正確に測定するには、

・OpenAI公式トークナイザー：https://platform.openai.com/tokenizer

・各APIの usage 情報、または専用の count_tokens 関数で計測

などですが、実際の現場では、以下のような概算計算をするのが便利です

・日本語は1文字≒1トークン、英語は4〜5文字≒1トークン

同じ意味の文章でも、言語によってトークン数は変わります。

例1

例2

言語	文章	トークン数
日本語	私は日々、生成AIを活用して文章作成や要約、アイデア出しを行っています。生成AIは人間の発想を広げ、効率的な作業を可能にします。	49
英語	I use generative AI every day for writing, summarizing, and brainstorming ideas. Generative AI expands human creativity and enables efficient work.	28

日本語の場合、助詞や活用語尾が1トークンになるため、日本語は英語と比べてトークン数が多くなりがちです。

日本語を英語に翻訳すると、「文字数ベース」でだいたい 1.6〜2.4倍に膨らむことが多いようです。英語は日本語とくらべて文字数的に2倍とし、4文字1トークンと計算されると考えると、同じ内容の文章を処理するとしたときには、英語は日本語に比べて約半分のコストになると言えます。