定义
AI会话记忆是指人工智能系统,特别是对话代理或聊天机器人,在单次持续的用户交互或“会话”中保留和利用先前轮次信息的机制。它不将每一次用户输入视为一个完全孤立的查询,而是允许AI建立对对话流程、用户偏好和既定目标的上下文理解。
为什么它很重要
如果没有会话记忆,AI交互本质上是无状态的。这意味着AI会忘记你两句话前说过的一切,导致对话令人沮丧、重复且不自然。会话记忆至关重要,因为它使AI能够提供相关、连贯和个性化的回复,将交互从简单的问答提升到真正的对话。
工作原理
从技术上讲,会话记忆通常是通过在每次新的用户输入时,将对话历史(提示历史)传递回大型语言模型(LLM)来实现的。此历史充当“上下文窗口”。先进的系统可能会使用向量数据库或专门的记忆模块来总结或检索最相关的过去信息,从而防止上下文窗口变得过大且处理成本过高。
常见用例
- 个性化支持: 客户可以问:“退货政策是什么?”然后跟进说:“它是否适用于电子产品?”记忆确保AI知道“它”指的是电子产品。
- 复杂任务完成: 引导用户完成多步骤的预订流程,其中偏好(日期、地点)需要在多个提示中被记住。
- 状态跟踪: 在自动化工作流程中,记忆跟踪用户在定义流程中的位置(例如,“账单信息输入”与“收货地址输入”)。
主要优势
- 改善用户体验(UX): 对话感觉自然、直观和人性化。
- 更高的任务完成率: 当AI记住用户的输入时,用户更可能完成复杂任务。
- 理解延迟降低: AI无需重新询问已提供过的澄清问题。
挑战
- 上下文窗口限制: LLM有有限的令牌限制。极长的会话可能会超出此容量,需要复杂的总结技术。
- 记忆漂移: 如果记忆管理不善,AI可能会错误地优先考虑旧的、不相关的信息,导致事实错误。
- 计算成本: 存储和重新处理对话历史会增加每次交互的运营成本。
相关概念
相关概念包括上下文窗口、提示工程、状态管理和检索增强生成(RAG)。