定义

LLM护栏是一套围绕大型语言模型（LLM）实施的预定义规则、约束和安全机制，用于引导其输出朝向期望的、安全的且合规的行为。它们作为保护层，确保模型在内容到达最终用户之前遵守特定的运营策略、伦理准则和功能需求。

为什么重要

没有护栏，LLM可能生成有害、有偏见、不准确或离题的内容。这些风险包括生成仇恨言论、错误信息、个人身份信息（PII）泄露，或违反企业政策的回复。护栏对于降低这些风险、维护品牌声誉以及确保生产环境中的监管合规至关重要。

工作原理

护栏通过多层防御机制运作。这些可以包括输入验证（检查用户提示中的恶意意图）、输出过滤（扫描生成文本中的禁止关键词或模式），以及回复重写或重新路由。它们可以使用较小的专用分类模型、正则表达式，或限制LLM上下文的复杂提示工程技术来实现。

常见用例

• 毒性过滤： 阻止包含仇恨言论、亵渎或辱骂性语言的回复。
• PII脱敏： 自动检测并掩码输入和输出中的敏感个人身份信息。
• 主题限制： 确保聊天机器人始终在其指定范围内运作（例如，仅讨论产品支持，而非政治评论）。
• 偏见缓解： 检测并标记对受保护群体表现出不公平偏见的回复。

关键优势

实施稳健的护栏可带来更可靠的AI应用。企业获得可预测的性能，显著降低与模型滥用相关的法律和声誉风险，并确保AI与其既定的运营标准完美对齐。

挑战

设计有效的护栏非常复杂。过于严格的护栏可能导致"误报"，即良性输入被错误地标记和阻止，从而导致糟糕的用户体验。此外，对抗性提示技术不断演变，要求护栏系统持续进行测试和更新。

相关概念

相关概念包括AI对齐（确保AI符合人类最佳利益的更广泛目标）、提示注入（试图覆盖系统指令的特定攻击向量）以及内容审核系统。