arXiv:2310.08731v3 公告类型：替换 摘要：使用世界模型的强化学习（RL）近期取得了显著的成功。然而，当世界机制或属性突然变化时，代理的表现和可靠性会急剧下降。我们将视觉属性或状态转换的突然变化称为新颖性。在生成的世界模型框架中实现新颖性检测是保护部署代理的关键任务。在本文中，我们提出了一种简单的方法，即将新颖性检测集成到世界模型RL代理中，通过利用世界模型的幻象状态与真正的观察状态之间的不对齐作为异常评分。我们提供了有效的方法来检测代理在世界模型中学习的状态转换分布中的新颖性。最后，我们展示了与传统的机器学习新颖性检测方法以及当前接受的RL专注于新颖性检测的算法相比，我们工作的优势。