定义

提示缓存是用于与大型语言模型 (LLM) 或其他生成式 AI 服务交互的应用程序中的一种技术。它涉及将输入提示及其相应的输出（或中间结果）存储在快速、可访问的内存存储中。当再次提交相同或非常相似的提示时，系统会检索缓存的响应，而不是在 LLM 上重新运行计算成本高昂的推理过程。

为什么重要

在生产环境中，许多用户会提交重复的查询，尤其是在测试、迭代开发或使用标准化工作流程时。如果没有缓存，每一个相同的请求都会迫使 LLM 完整地通过其神经网络进行前向传播，这会消耗大量的计算资源（GPU 时间）并产生直接的 API 成本。提示缓存直接解决了这些效率低下的问题。

工作原理

当收到请求时，系统首先使用从提示派生的哈希或相似性指标检查缓存。如果找到匹配项，则会立即返回存储的结果。如果没有匹配项，则将提示发送给 LLM 进行处理。一旦 LLM 返回响应，系统会在将结果返回给用户之前，将提示和生成的输出都存储到缓存中。缓存失效策略对于确保不提供陈旧数据至关重要。

常见用例

提示缓存在以下几种场景中非常有效：

• 聊天机器人和问答系统： 处理查询结构一致的常见问题 (FAQs)。
• 数据转换管道： 当相同的数据模式或转换指令被重复应用于不同的数据集时。
• 智能体工作流程： 为相同的子任务重用 AI 智能体的推理步骤或中间思考。
• 测试和基准测试： 通过避免冗余的 API 调用来加速开发周期中的迭代速度。

主要优势

实施提示缓存的优势是多方面的：

• 降低延迟： 检索缓存的响应比等待 LLM 推理快几个数量级，从而带来更好的用户体验。
• 降低运营成本： 通过最大限度地减少对外部、计费的 LLM API 的调用次数，组织可以实现显著的成本节约。
• 提高吞吐量： 由于缓存项绕过了瓶颈（LLM 推理），系统可以每秒处理更高数量的请求。

挑战

尽管功能强大，提示缓存也引入了复杂性：

• 缓存失效： 确定缓存响应何时不再有效是困难的。如果底层模型或外部数据源发生变化，缓存必须被清除或更新。
• 相似性匹配： 对于模糊匹配（即语义相似但不完全相同的提示），实现强大的向量相似性搜索会增加开销。
• 缓存大小管理： 大型、高流量的应用程序需要大量的内存或存储来维护有效的缓存，而不会产生其自身的基础设施成本。

相关概念

相关概念包括向量数据库（用于缓存中的语义相似性搜索）、模型量化（一种减小模型大小/成本的技术）和会话管理（跟踪跨多个提示的用户上下文）。