arXiv:2505.06706v1 通知类型: 新 摘要: 大规模多智能体强化学习(MARL)往往受到维数灾的困扰，因为代理交互的指数增长显著增加了计算复杂度并阻碍了学习效率。为缓解这一问题，现有的依赖于均场(MF)方法通过近似相邻代理为单一均场代理来简化交互场景，从而将整体复杂度降低到成对交互层面。然而，这些MF方法不可避免地无法考虑个体差异，导致均场学习过程中迭代更新不准确引发的聚集噪声。在本文中，我们提出了一种双层均场(BMF)方法，用于在大规模MARL中捕捉代理多样性并通过双层交互来减轻聚集噪声。具体来说，BMF引入了一个动态分组分配模块，该模块利用变分自编码器(VAE)学习代理的表示，使代理能够在时间上动态分组。此外，我们提出了一个双层交互模块来建模组间和组内交互，以实现有效的邻近聚合。在各种任务上的实验表明，所提出的BMF方法在性能上优于现有最先进的方法。我们的代码将公开发布。