arXiv:2502.02982v1 宣告类型: 新 摘要: 移动代理的发展为在移动设备上自动化任务提供了新的机会。训练这些代理需要大量的高质量数据，而使用人工劳动则成本高昂。鉴于全球范围内庞大的移动电话用户数量，如果能够从他们那里自动收集数据，则由此产生的数据量以及随后训练的移动代理可能会达到前所未有的水平。然而，两个主要挑战也随之出现：(1) 在不涉及人类的情况下提取高层面和低层面的用户指令；(2) 利用来自不同用户的分布式数据的同时保护隐私。 为了应对这些挑战，我们提出了 FedMobileAgent，这是一种协作框架，用于使用来自多样用户的自源数据训练移动代理。具体来说，它包括两种技术。首先，我们提出了自动注释（Auto-Annotation），该技术能够在用户的日常手机使用过程中自动收集高质量的数据集，成本最低。其次，我们引入了适应性聚合，以通过结合事件级和步骤级分布来改进移动代理在网络异构数据上的联邦训练。在分布式环境中，FedMobileAgent 在成本不到 0.02% 的情况下实现了与集中式人工标注模型相当的性能，凸显了其在实际应用中的潜力。