定义
基于模型的运行时（MBR）指的是一个执行环境或框架，旨在在应用程序的实时运行过程中托管、管理和动态地与一个或多个机器学习或预测模型进行交互。与执行确定性代码的传统软件运行时不同，MBR 促进了概率性、数据依赖型模型的执行，使应用程序能够根据模型输出做出实时、智能的决策。
为什么它很重要
在现代数据驱动的应用程序中，静态逻辑是远远不够的。MBR 至关重要，因为它们弥合了离线模型训练和在线推理之间的差距。它们确保了复杂的 AI 功能——例如个性化、异常检测或自然语言理解——能够在生产环境中可靠、高效且可扩展地可用。
工作原理
MBR 通常涉及几个集成组件：
- 模型加载和管理： 运行时将预训练模型（例如 TensorFlow、PyTorch 伪件）加载到内存或专用硬件加速器中。
- 输入预处理： 它负责将原始传入的应用程序数据转换为模型所期望的确切特征向量格式。
- 推理执行： 这是核心功能，模型处理输入数据以生成预测、分类或生成输出。
- 后处理和操作： 运行时解释模型的原始输出（例如概率分数），并将其转换为对调用应用程序的具体、可操作的指令（例如“批准交易”或“显示推荐 X”）。
常见用例
MBR 是许多高级功能的基础：
- 实时推荐引擎： 在用户浏览网站时即时提供个性化产品建议。
- 欺诈检测： 持续根据训练好的风险模型对传入的金融交易进行评分。
- 智能聊天机器人： 在运行时使用 NLP 模型来理解用户意图并生成连贯的回复。
- 预测性维护： 实时分析传感器数据流，在设备发生故障之前进行预测。
主要优势
- 动态适应性： 应用程序可以根据模型预测的当前状态来改变行为，而不仅仅是基于预先编码的规则。
- 运营效率： 集中化模型服务逻辑简化了 MLOps 管道，简化了部署和扩展。
- 性能优化： 专用运行时可以利用硬件加速（GPU/TPU）来实现低延迟推理。
挑战
- 延迟管理： 确保整个推理管道（预处理 + 模型执行 + 后处理）满足严格的服务级别目标（SLOs）是复杂的。
- 模型漂移监控： 运行时通常必须包含检测现实世界数据与训练数据显著偏离的机制，以发出需要重新训练的信号。
- 资源开销： 托管复杂模型需要大量的计算资源，要求仔细的资源分配。
相关概念
该概念与 MLOps（机器学习操作）、模型服务框架和边缘计算密切相关，在边缘计算中，运行时环境必须在资源受限的情况下有效运行。
