定义

本地内存指的是特定进程、应用程序或计算单元可以直接访问的临时、高速存储。在现代人工智能的背景下，它通常与即时上下文窗口或正在运行的智能体的工作记忆相关，允许它在不为每一步查询持久外部数据库的情况下保留当前交互的信息。

为什么它很重要

对于应用程序，尤其是大型语言模型（LLM）和智能体而言，本地内存对于维持对话连贯性和操作状态至关重要。如果没有它，每个提示都将被视为一次全新的交互，导致上下文丢失和无意义的响应。它直接影响软件的感知智能和可用性。

工作原理

从技术上讲，本地内存利用 RAM 或快速缓存层。当智能体处理输入时，相关的先前数据（例如，最后五轮对话、临时变量或最近访问的文档）会被加载到这个本地缓冲区中。这使得模型能够在生成 token 时即时引用这些数据，与从磁盘或远程 API 获取数据相比，显著降低了延迟。

常见用例

• 对话式 AI： 维护聊天会话的线程。
• 智能体执行： 在复杂工作流程中存储中间结果或工具使用历史记录。
• 实时过滤： 为用户会话中的即时应用而缓存频繁访问的小型数据集。

主要优势

• 降低延迟： 从 RAM 访问数据比磁盘 I/O 或网络调用快几个数量级。
• 上下文保持： 确保复杂的多步骤任务在多次交互中保持连贯性。
• 效率： 最大限度地减少冗余数据获取，降低 API 成本和处理开销。

挑战

• 易失性： 存储在本地内存中的数据通常是易失性的；除非明确保存到持久存储中，否则在进程终止时会丢失。
• 容量限制： 本地内存是有限的。管理上下文溢出（当对话超出分配的内存时）需要复杂的驱逐策略。

相关概念

• 持久内存： 用于必须在应用程序重启后仍保留数据的长期存储解决方案（数据库、文件系统）。
• 向量数据库： 用于语义搜索和长期、高维知识检索，通常作为本地内存的补充。
• 上下文窗口： 定义 LLM 一次可以处理的最大输入/输出量（token 限制），这在很大程度上依赖于本地内存的分配。