定义

多模态信号指的是源自多个不同的感官或数据模态，或跨越多个模态进行处理的数据。多模态系统不是孤立地分析文本或单独分析图像，而是摄取并关联来自不同类型输入的信息——例如，将图像与其相应的描述性标题结合起来，或将音频输入与视觉唇部动作结合起来。

为什么它很重要

在现实世界中，信息很少以单一格式呈现。人类自然地同时处理语言、视觉和声音。多模态人工智能旨在复制这种整体的人类感知。这种能力使人工智能模型能够对复杂场景实现更深入、更具上下文的理解，从而做出更稳健、更准确的决策。

工作原理

核心机制涉及针对每种模态的专用编码器（例如，图像使用 CNN，文本使用 Transformer，音频使用 RNN）。这些单独的编码器将原始数据转换为一个通用、高维的嵌入空间。然后，系统使用融合技术——例如早期、晚期或中间融合——来组合这些嵌入。这种统一的表示使模型能够学习跨模态相关性，这意味着它学习如何将特定的视觉特征与特定的语言概念相关联。

常见用例

多模态信号在多个高级应用中至关重要：

• 视觉问答 (VQA)： 回答关于图像的问题（例如，“这张图片里的汽车是什么颜色的？”）。
• 带视觉线索的语音识别： 通过使用面部表情或手势来提高转录准确性。
• 自动导航： 将 LiDAR 点云（空间数据）与摄像头馈送（视觉数据）融合，以实现环境感知。
• 高级内容审核： 通过分析图像和相关的文本标题来检测细微的有害内容。

主要优势

主要优势是上下文丰富性的提高。通过交叉引用数据类型，模型可以减少歧义并提高泛化能力。对于企业而言，这意味着更可靠的人工智能部署、更好的用户交互和自动化流程中更高的准确性。

挑战

集成不同类型的数据带来了重大的技术障碍。挑战包括确保模态对齐（确保文本指的是图像的正确部分）、管理高维数据带来的计算复杂性，以及开发在各种数据集上都能最佳运行的标准化融合架构。

相关概念

相关概念包括跨模态检索（在不同数据类型之间查找相关项）、零样本学习（使用多模态上下文在未见过的数据上执行任务）和统一表示学习。