LLM2D
面向QoS感知负载均衡的图强化学习在开放无线接入网络中的应用
Graph Reinforcement Learning for QoS-Aware Load Balancing in Open Radio Access Networks
作者: Omid Semiari, Hosein Nikopour, Shilpa Talwar
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.19499v1

摘要

arXiv:2504.19499v1 宣布类型: 新 摘要: 下一代无线蜂窝网络预计将为新兴无线应用提供无与伦比的服务质量(QoS),从而需要严格的性能保证,例如链路级数据速率。满足这些QoS要求的一个关键挑战是预防小区拥塞,这涉及平衡负载以确保每个小区有足够的无线资源来为其指定的用户设备(UEs)提供服务。在本工作中,开发了一种新的QoS感知负载均衡(LB)方法,以在QoS和资源约束下优化多频段开放无线接入网(O-RAN)中保证比特率(GBR)和尽力而为(BE)流量的性能。所提出的方法基于图形强化学习(GRL),这是图神经网络(GNN)和强化学习(RL)交叉领域的强大框架。QoS感知的负载均衡被建模为马尔可夫决策过程,其状态表示为图形。QoS考虑因素被集成到状态表示和奖励信号设计中。然后使用基于GNN架构的分层深度Q网络(off-policy dueling Deep Q Network)来训练LB代理。这种设计确保了LB策略对节点(UE或小区)的排序不变,能够处理各种网络规模,并能够在负载均衡决策中考虑空间节点依赖性。将基于GRL的方法与两种基线方法进行了比较。结果显示了显著的性能改进,包括QoS违反减少了53%,以及BE流量的第五百分位率提高了四倍。