生成式缓存
生成式缓存指的是一种复杂的缓存机制，它不仅用于存储静态资源，还用于存储、管理和提供生成式AI模型的输出。与存储预渲染HTML或图像的传统缓存不同，生成式缓存存储的是大型语言模型（LLM）或其他生成式AI服务执行的复杂、动态计算的结果。
在高度依赖AI的现代应用中——例如个性化聊天机器人、动态内容生成或实时摘要——生成模型的延迟通常是主要的瓶颈。如果没有缓存，每个用户请求都会触发一次完整、资源密集型的推理运行，从而导致高昂的运营成本和糟糕的用户体验。生成式缓存通过即时提供先前计算的响应来缓解这个问题。
该过程通常涉及请求首先到达缓存层。系统会检查缓存中是否存在完全相同或语义相似的提示/输入。如果找到匹配项，则立即返回存储的生成输出。如果未找到，则将请求传递给生成模型进行推理。一旦模型返回结果，它就会根据输入提示或派生的哈希值存储在缓存中，然后再返回给用户。
生成式缓存在多个高需求场景中至关重要：
实施生成式缓存的优势对于性能和经济效益都非常可观。它极大地减少了API调用量，从而降低了云计算成本。此外，通过从内存或快速存储中提供响应，而不是等待模型推理，它实现了近乎即时的响应时间，显著提高了用户满意度。
实施这项技术并非没有障碍。缓存失效是复杂的，因为生成式输出可能是依赖于上下文的。确定正确的缓存键——是简单的提示字符串还是复杂的向量嵌入——需要仔细的工程设计。此外，管理潜在的大量、多样化输出的存储开销是一个重大的基础设施考量。
这个概念与其他几项技术相交。它与传统的HTTP缓存密切相关，但工作在应用逻辑层。它还利用了向量数据库的概念来进行语义相似性匹配，这使得缓存能够为概念上相似但文本上不完全相同的提示提供结果。
