定義

拡張メモリとは、人工知能システム、特に大規模言語モデル（LLM）が、初期のトレーニングデータを超えた外部的、動的で永続的なメモリを備えるアーキテクチャ設計パターンを指します。システムは静的なパラメーターだけに頼るのではなく、外部のナレッジベース、データベース、または過去のやり取りから特定の関連情報を能動的に読み取り、書き込み、検索することができます。

なぜ重要か

AIアプリケーションが単なるパターンマッチングから真の有用性へと移行するためには、コンテキストを持つ必要があります。従来のモデルは、コンテキストウィンドウの制限や知識のカットオフに悩まされています。拡張メモリは、AIに独自の、リアルタイムの、または非常に具体的なデータで絶えず更新される「長期記憶」を提供することで、より正確で、関連性の高い、パーソナライズされた出力を生み出します。

仕組み

このプロセスには通常、いくつかの統合されたコンポーネントが関与します。

• インデックス作成と埋め込み： 外部データソース（ドキュメント、過去のチャット、データベース）はチャンク化され、数値ベクトル表現（埋め込み）に変換されます。
• ベクトルデータベースへの保存： これらの埋め込みは、類似性検索に最適化された特殊なベクトルデータベースに保存されます。
• 検索拡張生成（RAG）： ユーザーからのクエリが届くと、そのクエリも埋め込まれます。その後、システムはベクトルデータベースに対して類似性検索を実行し、意味的に最も関連性の高いデータチャンクを検索します。
• 拡張： これらの検索されたチャンクは、LLMに送信されるプロンプトのコンテキストに直接注入され、モデルが特定の検索された知識に基づいて回答を生成できるようにします。

一般的なユースケース

拡張メモリは、エンタープライズAI導入の基盤となります。

• エンタープライズQ&A： チャットボットが内部ポリシー文書や技術マニュアルに基づいて質問に回答できるようにします。
• パーソナライズされたアシスタント： セッションをまたいでユーザーの好み、過去のプロジェクトの詳細、過去のやり取りのパターンを記憶します。
• 複雑なワークフロー自動化： エージェントが多段階の長期タスクを正確に完了するために必要な履歴コンテキストを提供します。

主な利点

主な利点には、コンテキストウィンドウの制約の克服、事実に基づいた根拠の確保（ハルシネーションの削減）、リアルタイム知識統合の実現、およびAI生成応答の関連性と深さの劇的な向上が含まれます。

課題

堅牢な拡張メモリシステムの導入には、検索ステップによって導入されるレイテンシ、高品質なインデックスを維持する複雑さ、および埋め込みモデルのチューニングが不十分な場合に無関係またはノイズの多いデータを検索するリスクといった課題があります。

関連概念

この概念は、検索拡張生成（RAG）、ベクトルデータベース、およびAIエージェントにおけるステート管理と密接に関連しています。