定义
基于模型的检索器（MBR）是检索增强生成（RAG）或搜索流程中的一个高级组件。与传统的基于关键词的检索系统不同，MBR 利用复杂的机器学习模型（通常是基于 Transformer 的神经网络）来理解查询和文档的含义（语义）。
MBR 不再是匹配精确的单词，而是将输入查询和索引文档都映射到一个高维向量空间（嵌入）。然后，系统通过基于余弦相似度等相似性指标，找到与查询向量最接近的向量来进行检索。
为什么它很重要
在海量非结构化数据的时代，简单的关键词匹配无法捕捉用户意图。一个搜索“可持续能源解决方案”的用户可能不会使用“太阳能”或“风力发电场”的确切短语。MBR 理解这些概念在语义上是相关的，从而带来更相关、更准确的结果。
这种从词汇匹配到语义匹配的转变，对于构建真正智能的搜索体验和驱动先进的 AI 代理至关重要。
工作原理
该过程通常涉及几个关键阶段：
- 嵌入生成： 预训练语言模型（例如 BERT、Sentence Transformers）将查询文本和所有文档块转换为密集的数值向量（嵌入）。
- 索引： 这些文档嵌入存储在专门的数据结构中，通常是向量数据库，该数据库针对快速的最近邻搜索进行了优化。
- 检索： 当接收到查询时，它也会被嵌入。然后，系统查询向量数据库，以找到在嵌入空间中与查询向量最接近的 Top-K 个文档向量。
- 排序/生成： 然后，将这些检索到的、语义相关的块传递给大型语言模型（LLM）进行最终的综合和答案生成。
常见用例
MBR 是许多高价值应用的基础：
- 企业知识搜索： 允许员工使用自然语言查询庞大的内部文档。
- 高级聊天机器人和问答系统： 在生成响应之前，通过检索特定上下文来提供有根据、事实性的答案。
- 推荐引擎： 找到在概念上与用户过往交互相似的物品或内容。
- 语义过滤： 根据概念相关性而不是预定义标签来精炼大型数据集。
主要优势
- 提高相关性： 即使措辞各异，也能提供符合用户意图的结果。
- 处理歧义： 通过依赖上下文，更好地管理多义词（具有多种含义的词）。
- 可扩展性： 向量数据库允许跨数十亿数据点高效地扩展检索能力。
- 上下文理解： 使系统能够掌握不相关信息片段之间的潜在关系。
挑战
- 计算成本： 生成和存储高维嵌入需要大量的计算资源。
- 模型选择： 性能在很大程度上取决于所使用的嵌入模型的质量和适用性。
- 延迟： 检索过程虽然快速，但与简单的数据库查找相比会增加延迟。
相关概念
- 向量数据库： 专门设计用于高效存储和查询高维向量的数据库。
- RAG（检索增强生成）： MBR 作为检索组件的总体架构。
- 嵌入（Embeddings）： MBR 使用的文本的数值表示。
