定义

多模态护栏是一套集成安全机制和约束，旨在监控、过滤和控制处理和生成跨多种模态（如文本、图像、音频和视频）数据的AI模型的输出。与传统的单模态过滤器不同，这些护栏在不同数据类型上进行整体操作，以防止有害、有偏见或违反政策的内容到达最终用户。

为什么它很重要

随着AI系统越来越有能力处理复杂、跨格式的输入并生成丰富、多模态的输出，滥用和意外伤害的风险范围显著扩大。一个强大的护栏系统对于维护品牌安全、确保监管合规和维护道德AI标准至关重要。如果没有它们，多模态模型很容易在不同媒体类型中生成复杂的错误信息或不当内容。

工作原理

多模态护栏通常涉及多层防御：

• 输入验证： 将来自所有模态的提示和输入（例如，图像提示与文本指令的组合）与已知的政策违规行为进行比对。
• 中间监控： 在生成过程中分析模型的内部表示或潜在空间，以检测有害内容的先兆。
• 输出过滤： 在最终输出呈现之前，应用针对每种模态定制的特定分类器（例如，用于视觉危害的图像分类器，用于文本毒性的NLP模型）。
• 反馈循环： 纳入用户反馈和对抗性测试结果，以持续完善护栏参数。

常见用例

• 图像生成安全： 防止创建描绘暴力、仇恨言论或非自愿内容的逼真图像。
• 视频摘要： 确保从视频内容生成的摘要不歪曲事件或宣扬危险活动。
• 对话式AI： 通过阻止AI生成有害建议或参与禁止的主题来维护对话边界，无论输入是文本还是语音。
• 数据策展： 过滤包含混合媒体的大型数据集，以确保在训练或部署前符合规定。

主要优势

• 增强信任和可靠性： 用户更愿意信任明确遵守安全标准的系统。
• 风险缓解： 显著降低与AI滥用相关的法律、声誉和运营风险。
• 政策执行： 提供一种可扩展的自动化方式，在各种媒体上执行复杂、多方面的内容政策。

挑战

• 集成复杂性： 开发能够无缝跨不同数据类型交互的过滤器（例如，将文本指令与图像生成约束关联起来）在技术上要求很高。
• 对抗性规避： 恶意行为者不断开发新的方法来绕过过滤器，方法是微妙地更改提示或媒体，这需要持续的模型再训练。
• 误报： 过分激进的护栏可能导致合法、无害的内容被审查，影响用户体验。

相关概念

• AI 对齐
• 内容审核
• 安全分类器
• 基于人类反馈的强化学习 (RLHF)