定義

コンテキスト圧縮とは、大規模言語モデル（LLM）に提供される入力データ（コンテキストウィンドウ）のサイズまたは複雑さを、必要な出力のために最も重要な意味的情報を保持しながら削減するために使用される一連の技術を指します。

このプロセスは極めて重要です。なぜなら、LLMには有限のコンテキストウィンドウの制限があり、非常に長い入力を処理することは計算上コストがかかり、時間がかかるからです。

なぜ重要なのか

実際のアプリケーションでは、ユーザーは文書全体、長いチャット履歴、複雑なコードベースなど、膨大な量のテキストをコンテキストとして提供することがよくあります。これらすべての生データをモデルに送信すると、かなりのコスト（トークンごとの料金）が発生し、推論レイテンシが増加します。

コンテキスト圧縮は、これらのボトルネックに直接対処し、企業が強力なLLMを経済的かつ大規模に展開できるようにします。

仕組み

コンテキスト圧縮にはいくつかの手法が採用されており、これらはしばしば組み合わせて使用されます。

• 要約（Summarization）： より小さく専門化されたLLMを使用して、長い入力の密度の高い抽象的な要約を生成し、それをメインモデルにフィードします。
• 検索拡張生成（RAG）の洗練（Refinement）： 検索されたすべてのドキュメントを渡すのではなく、再ランキングやクエリ拡張などの技術を使用して、最も関連性の高いチャンクのみを選択します。
• エンティティ/キーワード抽出（Entity/Keyword Extraction）： 詳細な補足テキストを破棄し、主要なエンティティ、日付、アクションアイテムのみを特定して抽出します。
• スライディングウィンドウ/チャンキング（Sliding Window/Chunking）： コンテキストを体系的に分割し、最も最近または最も関連性の高いセグメントのみを渡します。

一般的なユースケース

コンテキスト圧縮は、いくつかのエンタープライズユースケースで不可欠です。

• ドキュメントQ&A： トークン制限を超過することなく、数百ページに及ぶ法律契約に関する質問をユーザーができるようにします。
• 長期チャットボット： 過去の対話履歴を圧縮することで、長時間のセッション全体で会話の一貫性を維持します。
• コード分析： 大規模なリポジトリや複雑な関数定義をLLMにフィードし、バグ検出やリファクタリングの提案を行います。

主な利点

コンテキスト圧縮を実装する主な利点は3つあります。

• コスト削減： 処理されるトークンが少なくなれば、API使用コストが直接的に低下します。
• レイテンシの改善： 入力が小さくなるため、計算時間が短縮され、エンドユーザーの応答時間が高速化します。
• コンテキストの集中： ノイズをフィルタリングすることで、モデルは注意力を最も重要な情報に集中させることができ、最終的な回答の品質が向上する可能性があります。

課題

その有用性にもかかわらず、コンテキスト圧縮は完璧な科学ではありません。主な課題には以下が含まれます。

• 情報損失： 過度に積極的な圧縮は、正確な応答に必要な微妙だが重要な情報を意図せず破棄してしまう可能性があります。
• 実装の複雑さ： 適切な圧縮パイプライン（どの要約モデルを使用するかを決定するなど）を設計するには、多大なエンジニアリングの労力が必要です。

関連概念

この技術は、検索拡張生成（RAG）、ファインチューニング、プロンプトエンジニアリングと密接に関連しています。RAGが関連データを検索することに焦点を当てるのに対し、コンテキスト圧縮はすでに検索または提供されたデータを凝縮することに焦点を当てます。