摘要
arXiv:2504.19277v1 宣告类型:新
摘要:函数调用是一项复杂的任务,广泛应用于信息检索、软件工程和自动化等领域。例如,查询从纽约到伦敦的最短航班的时间为1月15日,需要识别正确的参数以生成准确的函数调用。大语言模型(LLMs)可以自动化这个过程,但在资源受限的环境中是计算成本高昂且不切实际的。相比之下,小型语言模型(SLMs)可以高效运行,提供更快的响应时间和较低的计算需求,使它们成为边缘设备上函数调用的潜在候选者。在这项探索性实证研究中,我们评估了SLMs在不同领域生成函数调用的有效性,使用零样本、少量样本和微调方法,同时进行了提示注入实验,以促进未来应用,并提供了微调模型以利于未来的应用。此外,我们通过多种指标分析了模型的响应,涵盖了函数调用生成的各个方面。此外,我们还在边缘设备上进行了实验,评估了它们在延迟和内存使用方面的性能,提供了关于其实用性的有用见解。我们的研究结果表明,虽然SLMs从零样本到少量样本有所改善,并且在微调时表现最佳,但它们在遵守给定输出格式方面面临显著挑战。提示注入实验进一步表明,这些模型通常具有鲁棒性,仅表现出轻微的性能下降。虽然SLMs在函数调用生成任务上显示出潜力,但我们的结果也指出了需要进一步改进以实现实时功能的领域。