arXiv:2501.14700v4 通告类型: 替换交叉 摘要：随着网络威胁越来越复杂，强化学习（RL）正逐渐成为创建智能且适应性强的网络防御系统的一种有前途的技术。然而，大多数现有的自主防御代理忽略了受网络攻击影响的计算机网络固有的图形结构，这可能导致遗漏关键信息并限制其适应性。为克服这些限制，我们开发了一个自定义的Cyber Operations Research Gym（CybORG）环境版本，将网络状态编码为具有现实低级特征的有向图。我们采用了一种图注意力网络（GAT）架构来处理节点、边和全局特征，并将其输出适应与RL中的策略梯度方法兼容。基于GAT的方法相比平铺的替代方法提供了关键优势：对某些类型的意外动态网络拓扑变化具有鲁棒性的策略；在相同拓扑分布下的不同规模网络中合理的泛化性能；以及基于具体网络属性的可解释防御行动。我们展示了即使在模拟过程中出现意外连接，也可以使用低级有向图形观察结果训练GAT防御策略。在不同规模但子网络结构一致的网络上进行的评估表明，我们的策略在性能上可与专门针对每个网络配置训练的策略达到相似的效果。我们的研究为开发能够更好地适应现实世界网络安全性挑战的坚固的网络安全系统做出了贡献。