定义
基于模型的检索器(MBR)是检索增强生成(RAG)或搜索流程中的一个高级组件。与传统的基于关键词的检索系统不同,MBR 利用复杂的机器学习模型(通常是基于 Transformer 的神经网络)来理解查询和文档的含义(语义)。
MBR 不再是匹配精确的单词,而是将输入查询和索引文档都映射到一个高维向量空间(嵌入)。然后,系统通过基于余弦相似度等相似性指标,找到与查询向量最接近的向量来进行检索。
为什么它很重要
在海量非结构化数据的时代,简单的关键词匹配无法捕捉用户意图。一个搜索“可持续能源解决方案”的用户可能不会使用“太阳能”或“风力发电场”的确切短语。MBR 理解这些概念在语义上是相关的,从而带来更相关、更准确的结果。
这种从词汇匹配到语义匹配的转变,对于构建真正智能的搜索体验和驱动先进的 AI 代理至关重要。
工作原理
该过程通常涉及几个关键阶段:
- 嵌入生成: 预训练语言模型(例如 BERT、Sentence Transformers)将查询文本和所有文档块转换为密集的数值向量(嵌入)。
- 索引: 这些文档嵌入存储在专门的数据结构中,通常是向量数据库,该数据库针对快速的最近邻搜索进行了优化。
- 检索: 当接收到查询时,它也会被嵌入。然后,系统查询向量数据库,以找到在嵌入空间中与查询向量最接近的 Top-K 个文档向量。
- 排序/生成: 然后,将这些检索到的、语义相关的块传递给大型语言模型(LLM)进行最终的综合和答案生成。
常见用例
MBR 是许多高价值应用的基础:
- 企业知识搜索: 允许员工使用自然语言查询庞大的内部文档。
- 高级聊天机器人和问答系统: 在生成响应之前,通过检索特定上下文来提供有根据、事实性的答案。
- 推荐引擎: 找到在概念上与用户过往交互相似的物品或内容。
- 语义过滤: 根据概念相关性而不是预定义标签来精炼大型数据集。
主要优势
- 提高相关性: 即使措辞各异,也能提供符合用户意图的结果。
- 处理歧义: 通过依赖上下文,更好地管理多义词(具有多种含义的词)。
- 可扩展性: 向量数据库允许跨数十亿数据点高效地扩展检索能力。
- 上下文理解: 使系统能够掌握不相关信息片段之间的潜在关系。
挑战
- 计算成本: 生成和存储高维嵌入需要大量的计算资源。
- 模型选择: 性能在很大程度上取决于所使用的嵌入模型的质量和适用性。
- 延迟: 检索过程虽然快速,但与简单的数据库查找相比会增加延迟。
相关概念
- 向量数据库: 专门设计用于高效存储和查询高维向量的数据库。
- RAG(检索增强生成): MBR 作为检索组件的总体架构。
- 嵌入(Embeddings): MBR 使用的文本的数值表示。