定義

大規模言語モデル（LLM）および生成AIの文脈において、トークン予算とは、アプリケーションまたはユーザーが特定のインタラクション、API呼び出し、または使用期間内に処理することが許可される最大トークン数を指します。トークンは、LLMが情報を処理するために使用するテキストの基本的な単位であり、単語、サブワード、または文字を表すことができます。

この予算は、モデルが同時に処理できる総入力（プロンプト）サイズと総出力（補完）サイズを決定し、レイテンシと運用コストに直接影響を与えます。

なぜ重要なのか

トークン予算の管理は、いくつかのビジネス上の理由から極めて重要です。

• コスト管理： LLMの使用は通常、トークンごとに請求されます。予算を超過したり、過度に長いプロンプトを送信したりすると、予測不能で高額な運用費用につながる可能性があります。
• パフォーマンスとレイテンシ： 極端に大きな入力または出力は、モデルの処理能力に負荷をかけ、応答時間の低下を招く可能性があります。
• システム制約： 多くのAPIはコンテキストウィンドウサイズに厳格な制限を設けています。予算を遵守することで、アプリケーションがプロバイダーの技術仕様内で機能し続けることが保証されます。

仕組み

トークン化プロセスは、生のテキストを離散的なトークンに分解します。例えば、「tokenization」という単語は複数のトークンに分割される可能性があります。トークン予算は通常、モデルのコンテキストウィンドウサイズ（例：4096トークン）によって定義されます。このウィンドウは、入力プロンプトと期待される出力応答の両方を収容する必要があります。

プロンプトが3000トークンを消費し、モデルの最大コンテキストウィンドウが4096トークンである場合、応答に残っている予算はわずか1096トークンになります。

一般的なユースケース

• チャットボットと会話型AI： 予算を制限することで、無限ループや過度に長い会話履歴によるコスト高騰を防ぎます。
• データ要約： 大量のドキュメントを要約する場合、予算を設定することで、出力が簡潔であり、下流の処理制限に収まることを保証します。
• エージェントのオーケストレーション： マルチステップAIエージェントでは、予算が最終アクションが実行される前の推論チェーンの複雑さを制御します。

主な利点

• 予測可能な支出： 明確な予算を設定することで、財務チームはAIの運用コストを正確に予測できます。
• 最適化されたUX： 入力長を管理することで、開発者はユーザーがタイムリーで関連性の高い回答を受け取れるように保証できます。
• リソース効率： 過度に冗長または無関係なデータによる計算リソースの浪費を防ぎます。

課題

• コンテキスト管理： 予算を超過することなく、プロンプトに含めるべき履歴データの最適な量を決定することは、絶え間ないバランス取りが必要です。
• トークン推定の不正確さ： ツールは存在しますが、複雑で非構造化されたデータの正確なトークン数を送信前に予測することは困難な場合があります。

関連概念

• コンテキストウィンドウ：モデルが一度に考慮できるトークンの総容量。
• プロンプトエンジニアリング：望ましい、効率的な出力を引き出すために入力を構成する手法。
• 推論コスト：モデルを実行して応答を生成することに関連する運用費用。