定义

模型蒸馏是一种模型压缩技术，它使用一个大型、高性能的模型（“教师”模型）来训练一个更小、更简单的模型（“学生”模型）。学生模型不只在真实标签上进行训练，它还被训练来模仿教师模型生成的输出概率（“软目标”）。

为什么重要

在现代人工智能中，最先进的模型通常非常庞大，需要大量的计算资源（高延迟、大的内存占用）。这使得在资源受限的设备上部署变得具有挑战性，例如手机、物联网传感器或实时边缘计算环境。蒸馏使组织能够在大幅减小学生模型的大小和推理时间的同时，保留教师模型的大部分复杂知识。

工作原理

其核心机制涉及转移“暗知识”。教师模型不仅产生一个硬预测（例如“猫”），而是对所有可能类别产生一个概率分布（例如，90% 猫，8% 狗，2% 鸟）。这个分布包含了关于模型不确定性和类别之间关系的细微信息。然后，学生模型使用一个组合损失函数进行训练：一个组成部分最小化其预测与真实标签（硬目标）之间的差异，而第二个组成部分最小化其预测与教师模型的软目标之间的差异。

常见用例

• 移动部署： 将复杂的图像识别或自然语言处理模型部署到处理能力有限的移动应用程序上。
• 边缘AI： 在具有严格功耗预算的物联网设备或嵌入式系统上运行复杂的推理。
• 实时系统： 减少自动驾驶汽车感知或实时推荐引擎等高吞吐量应用中的延迟。

主要优势

• 降低延迟： 更小的模型执行预测的速度更快。
• 降低计算成本： 推理过程中所需的内存和浮点运算次数（FLOPs）更少。
• 模型效率： 以更小的大小实现接近教师模型的性能，从而实现更广泛的部署。

挑战

• 教师依赖性： 该过程完全依赖于是否有高质量的预训练教师模型可用。
• 超参数调优： 平衡损失函数权重（硬目标与软目标）需要仔细调整。
• 知识保真度： 在某些复杂任务中，蒸馏过程可能无法完美捕获教师模型的全部细微差别。