摘要
任务卸载对于平衡物联网等网络中设备间的计算负载至关重要,但也带来了巨大的优化挑战,包括在严格的通信和存储约束下最小化延迟和能耗。传统的优化方法在可扩展性方面存在不足,而启发式方法难以获得最优结果。强化学习 (RL) 提供了一条有前景的途径,通过迭代交互学习最优的卸载策略。然而,强化学习的有效性取决于能否访问丰富的dataset和定制的、真实的训练环境。为了解决这个问题,我们引入了PeersimGym,这是一个开源的、可定制的仿真环境,专门用于开发和优化计算网络中的任务卸载策略。PeersimGym支持各种网络拓扑和计算约束,并集成了基于PettingZoo的接口,用于在单代理和多代理设置中部署强化学习agent。此外,我们通过深度强化学习agent的实验演示了该环境的实用性,展示了基于强化学习的方法在显著增强分布式计算环境中卸载策略方面的潜力。因此,PeersimGym弥合了理论强化学习模型及其实际应用之间的差距,为高效任务卸载方法的进步铺平了道路。