定义

基于模型的循环描述了一个迭代过程，其中人工智能模型与环境进行交互，观察其行动的结果，并利用这些观测数据来更新或完善其内部预测模型。与简单的前馈系统不同，该循环包含一个基于现实世界结果的自我修正和持续学习机制。

为什么它很重要

在复杂、动态的环境中——例如自主导航、复杂的推荐引擎或先进的控制系统——静态模型会迅速过时。基于模型的循环至关重要，因为它使人工智能能够在无需从头开始进行完全手动重新训练的情况下，适应新情况、数据分布漂移和不断变化的用戶行为。它驱动着鲁棒性和长期性能。

工作原理

该过程通常遵循以下阶段：

1. 行动： AI 代理根据其当前模型在环境中采取行动。
2. 观察： 环境返回与该行动相对应的状态或奖励信号。
3. 模型更新： 代理利用观察到的结果（预测结果与实际结果之间的差异）来调整其内部世界模型的参数。
4. 规划/细化： 然后使用更新后的模型来规划下一个最佳行动，从而完成循环。

这个循环会重复，使模型能够建立对其操作域更准确的预测表示。

常见用例

• 机器人和控制系统： 机器人使用这些循环来学习物理力如何影响运动，使它们能够适应不平坦的地形或载荷变化。
• 个性化推荐引擎： 该循环会观察用户是否点击或忽略了推荐，并利用这些反馈来完善预测未来偏好的模型。
• 自动交易： 模型从市场对其交易的反应中学习，实时调整风险参数。

主要优势

• 适应性： 系统可以有效地处理非平稳环境。
• 效率： 学习是增量的，比完全批次重新训练所需的计算能力要少。
• 鲁棒性： 它能建立抵御意外输入或环境噪声的弹性。

挑战

• 探索与利用： 系统必须平衡使用已知信息（利用）与尝试新行动以收集更好数据（探索）。
• 样本效率低下： 现实世界的交互可能缓慢或代价高昂，这意味着循环需要高效地收集数据。
• 模型漂移： 如果环境变化太快，模型可能难以跟上步伐。

相关概念

该概念与强化学习 (RL)、模型预测控制 (MPC) 以及用于预训练 AI 代理的模拟环境密切相关。