arXiv:2403.16971v4 宣传类型: 替换-交叉 摘要：基于LLM的智能代理在部署方面面临着重大的挑战，尤其是资源管理方面。允许对LLM或工具资源的无限制访问可能会导致代理的资源分配和利用效率低下，甚至可能具有潜在的危害性。此外，当前代理设计中缺乏适当调度和资源管理机制阻碍了并发处理，并限制了整个系统的效率。随着代理的多样性和复杂性的不断增加，解决这些资源管理问题对于基于LLM的代理系统变得越来越关键。为了解决这些挑战，本文在管理基于LLM的代理的背景下，提出了AIOS（基于LLM的AI代理操作系统）的架构。该论文介绍了为代理服务引入的一种新颖架构，通过将资源和LLM特定服务隔离到AIOS内核中，实现对代理应用程序的隔离。AIOS内核提供了基础服务（例如，调度、上下文管理、内存管理、存储管理、访问控制）和运行时代理资源的有效管理（例如，LLM和外部工具）。为了提高易用性，AIOS还包含了一个AIOS-Agent SDK，这是一个针对利用AIOS内核提供的功能设计的全面API套件。实验结果显示，使用AIOS可以实现高达2.1倍的代理服务执行速度。源代码可在 https://github.com/agiresearch/AIOS 获取。