摘要
arXiv:2504.04070v1 宣传类型: 交叉
摘要:随着自主代理变得愈发强大并被更广泛地使用,确保它们行为安全并在实时维护与系统目标一致变得越来越重要,尤其是在多代理设置中。当前系统通常依赖于代理自我监测或在事件发生后进行纠正,但缺乏实时监督的机制。本文提出了执法代理(EA)框架,该框架将专门的监督代理嵌入到环境中,以监测其他代理、检测不当行为并通过实时纠正进行干预。我们在一个自定义的无人机模拟中实现了这一框架,并使用0、1和2种EA配置在90个回合中进行了评估。结果表明,增加EA显著提高了系统安全性:在没有EA时的成功率为0.0%,一个EA时的成功率为7.4%,两个EA时的成功率为26.7%。该系统还展示了增加的操作寿命,并且恶意无人机重构的频率更高。这些发现突显了轻量级、实时监督在增强多代理系统中的对齐和韧性方面的潜力。