定义
量化模型是经过训练的机器学习模型的一个版本，其中其权重和激活的数值精度已被降低。通常，模型是使用32位浮点数（FP32）进行训练的。量化将这些高精度值转换为低位表示，例如16位浮点数（FP16）、8位整数（INT8）甚至更低。
为什么重要
模型大小和计算需求是部署大型AI模型的主要瓶颈，尤其是在边缘设备或资源受限的云环境中。量化通过显著减小内存占用和推理过程中所需的计算量（FLOPs）来直接解决这个问题。
这种效率的提升直接转化为更快的推理时间、更低的延迟以及为大规模运行AI工作负载的企业降低的运营成本。
工作原理
核心思想是将连续的浮点值范围映射到离散的低精度值集合。这个过程涉及为每个张量定义一个缩放因子和一个零点。原始的FP32值被映射到所选位宽范围内的整数值。有几种技术，包括训练后量化（PTQ），即量化在训练后进行；以及量化感知训练（QAT），即模型在模拟量化噪声下进行训练以最小化精度损失。
常见用例
量化模型对于多种现代AI应用至关重要：
- 边缘AI部署： 在内存和电源受到严格限制的移动电话、物联网传感器或嵌入式系统上直接运行复杂的视觉或自然语言处理（NLP）模型。
- 高吞吐量推理： 在云环境中为大型语言模型（LLMs）或复杂的推荐引擎提供服务，其中最大化每秒请求数（RPS）至关重要。
- 移动应用程序： 在面向消费者的应用程序中集成复杂的AI功能，而无需持续依赖云连接。
主要优势
- 减小模型尺寸： 更小的文件大小允许更快地下载和部署。
- 更快的推理速度： 整数算术在专用硬件（如NPU或优化CPU）上比浮点算术更快、更节能。
- 更低的内存使用量： 加载和处理模型权重所需的内存带宽更少。
挑战
- 精度下降： 主要挑战是由于精度降低过程中丢失信息而可能导致的模型精度损失。需要仔细校准和选择量化方法来减轻这种影响。
- 硬件支持： 虽然INT8得到了广泛支持，但要充分发挥性能优势，使用非常低的位宽需要特定的硬件加速。
相关概念
- 剪枝（Pruning）：从模型中移除冗余权重。
- 知识蒸馏（Knowledge Distillation）：训练一个小型、高效的“学生”模型来模仿一个大型、复杂的“教师”模型。
- 混合精度训练（Mixed-Precision Training）：在模型架构中战略性地使用不同的精度（例如FP16和FP32）。
