arXiv:2410.13610v2 通知类型: 修改 摘要: 将工具整合到大规模语言模型（LLMs）中促进了其广泛应用。然而，在专门的下游任务情境中，单纯依赖工具仍然不足以完全应对现实世界的复杂性。特别是在医学领域，这种限制尤其明显，限制了LLMs的有效部署。在本文中，我们专注于医学计算器的下游任务，这些任务使用标准化测试来评估个体的健康状况。我们提出了MeNTi，这是一种适用于LLMs的通用智能体架构。MeNTi整合了一个专门的医学工具包，并采用元工具和嵌套调用机制来增强LLM工具的利用。具体来说，它实现了灵活的工具选择和嵌套工具调用来解决复杂的医学场景中面临的具体问题，包括计算器选择、填槽和单位转换。为了评估LLMs在整个临床过程中的定量评估能力，特别是在计算器场景中的应用，我们引入了CalcQA。该基准要求LLMs使用医学计算器进行计算并评估患者健康状况。CalcQA由专业医生构建，并包括100个病例-计算器对，同时配有281个医学工具包。实验结果表明，在我们的框架下有显著的性能提升。这项研究为在医疗领域应用需求较高的场景中应用LLMs开辟了新的方向。