arXiv:2302.03669v4 通告类型: replace-cross 摘要：在智能交通系统（ITS）中，智能交通信号灯有望大大提升交通效率并减少拥堵。深度强化学习（DRL）是一种基于道路网络实时交通情况来适应性控制交通信号灯的有希望的方法。然而，传统的方 法可能难以扩展。在本文中，我们研究了使用深度强化学习来控制交通信号灯，并且理论分析和数值实验表明，智能行为“绿波”（即一辆车将依次看到一系列绿灯，而不需要在任何交叉口停车）在网格道路网络中自然地出现，这在有多条交叉街的道路中被证明是最佳策略。作为第一步，我们使用两个DRL算法解决两个场景下的交通信号灯控制问题。在一个单路口，我们验证了深度Q网络（DQN）算法提供了阈值策略；而在网格道路网络中，我们采用了深度确定性策略梯度（DDPG）算法。其次，数值实验表明，DQN算法提供了最优控制，而具有被动观察的DDPG算法具有产生自身高智能行为的能力，即“绿波”策略在网格道路网络中自然地出现。我们还在一个$5 \times 10$网格道路网络中验证了“绿波”模式。第三，“绿波”模式表明DRL算法产生了有利的解决方案，因为在实验结果中展示的“绿波”策略在特定的交通模型（有多条交叉街的道路）中被证明是最佳的。在单路口和网格道路网络中提供的策略都证明了DRL算法的扩展性。