定义

幻觉检测是指一套旨在识别生成式人工智能模型（如大型语言模型 (LLM)）产生事实错误、无意义或未在其训练数据或所提供上下文中得到支持的输出的技术和算法。

这些“幻觉”并非简单的错误；它们是模型生成流畅、听起来很有信心的文本，但这些文本完全是捏造的，将虚假信息当作既定事实呈现出来。

为什么重要

在企业应用中，AI 输出的可靠性至关重要。未受控制的幻觉可能导致重大的业务风险，包括：

• 声誉损害： 向客户或利益相关者提供不正确的信息会侵蚀对组织的信任。
• 操作错误： 在法律或医疗支持等领域，虚构的数据可能导致关键的、代价高昂的错误。
• 合规问题： 生成虚假的监管信息可能违反行业标准。

有效的检测确保 AI 工具充当可靠的助手，而不是不可预测的错误信息来源。

工作原理

检测方法通常分为几类，通常会结合使用以实现稳健的性能：

• 事实核查增强： 将模型的输出与受信任的外部知识库或经过验证的文档进行交叉引用（检索增强生成或 RAG）。
• 自我修正/自我验证： 提示模型批判其自身的输出，要求其引用来源或内部验证声明。
• 语义一致性检查： 算法分析输出是否存在内部矛盾或语义漂移，标记出与输入提示或上下文不合逻辑的陈述。
• 困惑度评分： 衡量模型对生成文本的“惊讶”程度；在不受支持的声明上出现异常低的困惑度有时可能表明是捏造的。

常见用例

幻觉检测在各种 AI 部署中都至关重要：

• 客户支持机器人： 确保提供给客户的答案是准确的，并且基于最新的产品文档。
• 知识管理系统： 验证从庞大的内部公司文档中提取的摘要或见解。
• 代码生成： 防止模型建议不存在的函数或错误的 API 调用。
• 研究助手： 验证引用的来源是否确实支持所做的声明。

主要优势

实施强大的检测机制带来了多项切实的业务优势：

• 增强信任： 当 AI 工具持续准确时，用户更愿意采用和依赖它们。
• 减少审查开销： 通过在源头过滤掉明显的错误，人工审核人员可以专注于复杂的边缘案例。
• 更安全的部署： 它使组织能够以更大的信心将强大的生成模型部署到高风险环境中。

挑战

尽管取得了进展，但完美的检测仍然是一个开放的研究问题。主要挑战包括：

• 错误的微妙性： 幻觉可能非常细微，使得简单的关键词匹配无效。
• 上下文依赖性： 构成“幻觉”的定义可能因特定的领域或提示而异。
• 计算成本： 运行多个验证层（如 RAG 查找）会显著增加延迟和处理要求。

相关概念

该领域与检索增强生成 (RAG)、提示工程（以实现更好的基础）和 AI 安全框架有大量重叠。