摘要
arXiv:2503.20613v1 Announce Type: cross
摘要:近年来,深度强化学习(DRL)已成为机器人控制的一种有前景的方法。然而,DRL在实际机器人中的部署受到了其对环境扰动的敏感性的影响。尽管现有的白盒对抗攻击依赖于局部梯度信息,并在所有状态下施加均匀的扰动来评估DRL的鲁棒性,但它们未能考虑时间动态性和状态特定的脆弱性。为了应对上述挑战,我们首先通过建立白盒攻击下的对抗受害动力学马尔可夫决策过程(AVD-MDP)对DRL中的白盒攻击进行了理论分析,以推导出成功攻击的必要和充分条件。在此基础上,我们提出了一种名为STAR的选择性状态感知强化对抗攻击方法,以优化扰动的隐蔽性和状态访问分散性。STAR首先采用基于软掩码的状态目标机制,以最小化冗余扰动,增强隐蔽性和攻击效果。然后,它引入一种信息理论优化目标,以最大化扰动、环境状态和受害方行动之间的互信息,确保分散的状态访问分布,引导受害方代理进入最易受损的状态以实现最大回报减少。广泛的实验表明,STAR优于现有的基准方法。