定义

嵌入式模型指的是一个机器学习模型，它被直接集成到软件应用、设备或工作流程中，而不是作为远程的、基于云的 API 调用来访问。模型不是将数据发送到中央服务器进行预测，而是在数据生成或处理的本地运行。

为什么重要

嵌入式模型解决了传统基于云的 AI 相关的关键限制。它极大地降低了延迟，最大限度地减少了对持续互联网连接的依赖，并通过将敏感信息保留在设备上或在本地系统边界内，显著增强了数据隐私。

工作原理

该过程涉及优化预训练模型（例如，量化、剪枝），使其能够在目标硬件上高效运行。然后，将这个优化后的模型工件直接打包到应用程序代码或固件中。当应用程序需要预测时，它将输入数据直接馈送到本地模型实例中进行即时推理。

常见用例

嵌入式模型在多个高性能场景中很常见。示例包括安全摄像头的实时目标检测、在移动应用中即时提供的个性化推荐、用于离线聊天功能的自然语言处理（NLP）以及工业物联网传感器的预测性维护。

主要优势

• 低延迟： 由于消除了网络往返时间，预测几乎是即时的。
• 离线能力： 即使没有网络访问权限，功能也能持续存在。
• 隐私保护： 数据处理在本地进行，降低了与云传输相关的暴露风险。
• 降低运营成本： 减少对持续、高容量云 API 使用的依赖。

挑战

主要挑战涉及模型大小和计算限制。将大型、复杂的模型部署到资源受限的边缘设备上需要进行大量的模型压缩和仔细的硬件选择。维护和更新这些本地部署的模型也可能引入部署复杂性。

相关概念

相关概念包括边缘计算（Edge Computing）、设备端机器学习（On-Device ML）、模型量化（Model Quantization）和联邦学习（Federated Learning）。虽然边缘计算是基础设施，但嵌入式模型是运行在该基础设施上的特定软件工件。