arXiv:2410.05127v3 宣称类型: replace-cross 摘要：均场博弈（MFG）是一种用于建模和近似大量代理行为的框架。在多代理强化学习中，计算MFG的均衡态一直是关注点。目前对于最后一次更新的策略收敛到均衡态的理论保证是有限的。我们提议使用一种简单的近端点（PP）类型方法来计算MFG的均衡态。然后，我们提供了首次基于Lasry--Lions型单调性条件的最后一迭代收敛（LIC）保证。我们还基于观察到的近端点更新规则等价于求解正则化MFG这一事实，提出了一种近端点更新规则的近似方法（$\mathtt{APP}$），并且该方法可以由镜下降法求解。我们进一步确立了正则化镜下降法以指数速度实现最后一迭代收敛。我们的数值实验表明，$\mathtt{APP}$能够有效地计算均衡态。