摘要
arXiv:2504.10519v1 声明类型: 新
摘要:由大型语言模型驱动的AI代理正在通过广泛的应用改变世界。一个超级代理有能力通过准确理解用户意图并利用适当的工具来解决任务,从而满足多样化的用户需求,例如摘要、编码和研究。然而,为了使这样的代理能够在现实世界中部署,并实现规模化,以确保高效率和低成本,需要进行大量的优化。本文提出了超级代理系统的架构设计。在接收到用户提示后,系统首先检测用户意图,然后将请求路由到具有必要工具的专业任务代理,或者自动生成代理工作流。实践中,大多数应用直接作为边缘设备(如手机和机器人)上的AI助手运行。由于不同的语言模型在能力上存在差异,基于云的模型通常会带来较高的计算成本、延迟和隐私问题,因此我们探索了一种混合模式,根据任务复杂度动态选择本地或基于云的模型。最后,我们介绍了增强云功能的边缘设备超级代理的蓝图。随着多模态模型和边缘硬件的进步,我们设想大部分计算可以在本地完成,仅在需要时进行云协作。这种架构为超级代理在未来无缝融入日常生活铺平了道路。