定義

コンテキストウィンドウとは、大規模言語モデル（LLM）が単一の対話中に処理または「記憶」できる最大量の入力テキスト（プロンプト）と出力テキスト（補完）を指します。この容量はトークンで測定され、トークンは概ね単語またはサブワード単位に相当します。

なぜ重要なのか

コンテキストウィンドウのサイズは、LLMが処理できるタスクの複雑さと範囲を直接決定します。より大きなウィンドウは、モデルがより長い会話で一貫性を維持し、広範なドキュメントを分析し、全体的な流れを見失うことなく複雑な入力の以前の部分を参照することを可能にします。

仕組み

ほとんどの最新のLLMを支えるTransformerベースのモデルは、この定義されたトークン制限内で情報を順次処理します。入力がコンテキストウィンドウを超えると、モデルは最も古い情報を切り捨てる必要があり、実質的に会話やドキュメントの冒頭部分を「忘れて」しまいます。

一般的なユースケース

• 文書要約： 法律文書全体や研究論文を一度に分析する。
• 長文チャットボット： 長時間のユーザーセッション全体で会話履歴を維持する。
• コード生成： モデルが正確な補完のために大規模なコードベースを参照できるようにする。
• データ分析： テキスト入力として提供された長いログやデータセットを処理する。

主な利点

• 一貫性の向上： モデルがより文脈的に関連性が高く一貫性のある出力を生成できるようにします。
• 深い分析： 大規模なデータセットやドキュメントの全体的なレビューを可能にします。
• 複雑なタスク処理： 以前の指示やデータへの参照を必要とする多段階の推論をサポートします。

課題

• コストとレイテンシ： より大きなコンテキストウィンドウは、より多くの計算リソース（VRAMと処理時間）を必要とし、APIコストと応答遅延を増加させます。
• アテンションの低下： ウィンドウが大きくても、モデルは入力の非常に最初や非常に最後にある情報に均等な重み付けをすることが難しい場合があります。

関連概念

• トークン化 (Tokenization)： 生のテキストをモデルが理解できる離散的なトークンに分解するプロセス。
• アテンション機構 (Attention Mechanism)： コンテキスト内で異なるトークンの重要度を互いに重み付けすることを可能にする中核的なアーキテクチャコンポーネント。
• ファインチューニング (Fine-Tuning)： 特定のデータで事前学習済みモデルを調整し、制約されたコンテキスト内でのパフォーマンスを向上させること。