LLM2D
逆约束强化学习全面综述:定义、进展与挑战
A Comprehensive Survey on Inverse Constrained Reinforcement Learning: Definitions, Progress and Challenges
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.07569v2

摘要

逆约束强化学习(ICRL)是从专家代理的演示数据中推断其遵循的隐性约束的任务。作为一个新兴的研究主题,ICRL近年来受到了相当大的关注。本文对ICRL的最新进展进行了分类综述,旨在为机器学习研究人员和实践者,以及希望理解ICRL定义、进展和重要挑战的初学者提供全面的参考。我们首先正式定义了问题,并概述了促进在各种场景下进行约束推断的算法框架。这些场景包括确定性或随机环境、有限演示的环境和多代理环境。对于每个背景,我们阐明了关键挑战,并介绍了一系列基本方法来解决这些问题。该综述涵盖了用于评估ICRL代理的离散、虚拟和现实环境。我们还深入探讨了ICRL最相关的应用,如自动驾驶、机器人控制和体育分析。为了激励持续的研究,我们在总结中讨论了ICRL中一些关键的未解决问题,这些问题可以有效地在理论理解与实际工业应用之间架起桥梁。