LLM2D
从多视图观测学习融合状态表示控制
Learning Fused State Representations for Control from Multi-View Observations
作者: Zeyu Wang, Yao-Hui Li, Xin Li, Hongyu Zang, Romain Laroche, Riashat Islam
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01316v1

摘要

arXiv:2502.01316v1 宣布类型: cross 摘要: 多视图强化学习(Multi-View Reinforcement Learning, MVRL)旨在为智能体提供多视图观测,使它们能够更有效地和精确地感知环境。最近在MVRL方面的进展集中在从多视图观测中提取潜在表示,并在控制任务中利用这些表示。然而,在存在冗余、干扰信息或缺失视图的情况下,学习紧凑且任务相关的表示并不是一件简单的事情。在本文中,我们提出了Multi-view Fusion State for Control (MFSC),首次将bisimulation度量学习融入到MVRL中,以学习任务相关的表示。此外,我们提出了一个基于多视图的掩码和潜在重建辅助任务,利用跨视图的共享信息,并通过引入掩码标记来提高MFSC在缺失视图情况下的鲁棒性。大量实验结果表明,我们的方法在MVRL任务中优于现有方法。即使在有干扰或缺失视图的更现实场景中,MFSC也保持了高水平的性能。