定義

短期コンテキストとは、AIモデル（特に大規模言語モデル (LLM) や会話エージェント）が次の出力を生成する際に積極的に考慮できる、直感的で限られた先行情報群を指します。これは、特定の対話やセッションにおけるシステムの「ワーキングメモリ」です。

大量の履歴データを保存する長期記憶とは異なり、短期コンテキストはモデルの固定されたコンテキストウィンドウ、つまり同時に処理できる最大トークン（単語またはサブワード）数によって制約されます。

なぜ重要なのか

短期コンテキストの質とサイズは、AIの応答の一貫性、関連性、正確性を直接決定します。コンテキストウィンドウが小さすぎると、モデルは会話の初期部分を「忘れて」しまい、無意味または反復的な出力を生じさせます。効果的なコンテキスト管理は、信頼性の高い人間のような会話体験を構築するために不可欠です。

仕組み

ユーザーがプロンプトを入力すると、システムはそのプロンプトと先行する対話ターン（会話履歴）を単一の入力シーケンスにまとめます。この短期コンテキストを構成するシーケンスがトランスフォーマーアーキテクチャに供給されます。その後、モデルはアテンションメカニズムを使用して、その限られたウィンドウ内の各トークンの重要度を重み付けし、次に最も可能性の高いトークンを予測します。

一般的なユースケース

• チャットボットと仮想アシスタント： 数回のやり取りにわたってトピックの関連性を維持する。
• コード生成： プロンプトの早い段階で提供された変数定義や関数シグネチャを記憶する。
• 要約： 要約が直近のソースドキュメントで提示された要点を正確に反映していることを保証する。
• 対話状態追跡： 数分前に言及されたユーザーの好みや制約を追跡する。

主な利点

• 一貫性： AIがトピックに留まり、会話の流れを維持することを保証する。
• 関連性： モデルが直近の入力履歴に基づいて応答を調整できるようにする。
• 効率性： 有界なコンテキストウィンドウを処理することは、データベース全体の履歴をロードしようとするよりも計算効率が高い。

課題

• コンテキストウィンドウの制限： トークンのハードリミットは、複雑な多段階推論の深さを制限する。
• コンテキストスタッフィング： 無関係なデータでコンテキストを過負荷にすることは、シグナルを希薄化させ、パフォーマンスの低下につながる。
• レイテンシ： より長いコンテキストウィンドウを処理すると、計算負荷と応答時間が増加する。

関連概念

• 長期記憶： 即時のコンテキストウィンドウ外の情報を取得するために使用される外部データベースやベクトルストア。
• アテンションメカニズム： 現在の予測にとって短期コンテキストのどの部分が最も関連性があるかを決定する中核的なニューラルネットワーク機能。
• トークン化： テキストをモデルが実際に処理する離散的な単位（トークン）に分解するプロセス。