定义

基于模型的护栏（Model-Based Guardrail）指的是直接集成到生成式人工智能模型（如大型语言模型或LLM）内部或围绕其的一套预定义规则、约束和验证机制。这些护栏旨在监控模型的输入（提示）和输出，以确保它们遵守特定的安全政策、道德准则、法律要求和操作参数。

与简单的关键词过滤不同，基于模型的护栏通常利用次级、较小的AI模型或复杂的逻辑来评估交互的意图和内容，从而提供更深层次的控制。

为什么重要

强大生成式AI的快速部署带来了重大风险，包括生成有害、有偏见、不准确或专有内容。基于模型的护栏对于减轻这些风险至关重要，确保AI系统保持可信赖、合规并符合组织价值观。

如果没有强大的护栏，LLM很容易被提示进入“越狱”（jailbreaking）场景，导致敏感数据泄露、虚假信息产生或生成被禁止的内容。

工作原理

实施通常涉及一个多阶段流程：

• 输入验证： 在提示到达核心模型之前，护栏层会分析它是否存在恶意意图、提示注入尝试或政策违规行为。
• 推理与监控： 主模型生成响应。同时，护栏系统实时监控输出。
• 输出过滤/精炼： 如果输出违反了既定策略（例如，生成仇恨言论或提供未经授权的财务建议），护栏就会进行干预。这种干预的范围可以是从完全阻止响应到触发次级模型来重写或清理输出。

常见用例

• 内容审核： 防止生成有毒、暴力或露骨的材料。
• 数据泄露预防： 确保模型不会泄露专有的训练数据或内部系统提示。
• 合规性执行： 保证响应遵守行业法规（例如GDPR、HIPAA），通过拒绝不恰当地处理或输出受监管数据来实现。
• 范围限制： 保持智能体专注于其预定领域，防止它们回答超出其操作授权范围的问题。

主要优势

• 风险降低： 显著降低有害或不合规的AI行为的概率。
• 信任和采用： 通过确保系统性能的可预测性和安全性来建立用户和利益相关者的信心。
• 操作一致性： 在所有模型交互中强制执行一致的行为标准。

挑战

• 误报（False Positives）： 过分激进的护栏可能会阻止合法、无害的查询，导致用户体验不佳。
• 规避技术： 复杂的用户不断开发新的绕过现有限制的方法。
• 复杂性和延迟： 实施多个验证层会增加计算开销并可能增加响应时间。

相关概念

相关概念包括AI对齐（AI Alignment）、提示工程（Prompt Engineering）、输入清理（Input Sanitization）和安全层（Safety Layers）。这些护栏是AI对齐理论目标的实际工程实现。