该功能用于监控机器学习模型,检测训练数据和生产数据分布之间的差异。它能够识别两种类型的漂移:数据漂移,即输入特征的统计特性发生变化;以及概念漂移,即输入与目标之间的关系随时间推移发生变化。系统通过持续分析特征统计信息和预测误差,并在模型准确率下降超过可接受阈值时向相关方发出警报。这种主动方法有助于及时进行模型重新训练或部署调整,以维持预测的可靠性。
该功能通过将实时生产数据流导入到计算基础设施中,启动一个持续的监控周期。
统计算法通过将当前特征分布与基准训练指标进行比较,以量化漂移的程度。
当检测到的漂移超出预定义的阈值时,系统会生成警报,并触发自动工作流程通知,以便进行干预。
将实时生产数据流导入到计算环境中。
计算当前特征与基准训练数据的统计差异指标。
评估预测误差率,并与历史表现基准进行对比。
当模型漂移超出阈值时,生成警报,并推荐模型重新训练的操作。
将实时特征向量和标签从生产数据库导入到监控引擎。
执行假设检验,以计算训练数据分布和生产数据分布之间的差异度。
当数据漂移指标超出预设的运营阈值时,系统将通过仪表盘或电子邮件向数据科学家发送通知。