LLM2D
大型和小型语言模型之间协作机制的研究综述
A Survey on Collaborative Mechanisms Between Large and Small Language Models
作者: Yi Chen, JiaHao Zhao, HaoHao Han
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2505.07460v1

摘要

arXiv:2505.07460v1 宣布类型: 新 摘要: 大型语言模型(LLMs)提供了强大的人工智能能力,但由于高资源成本和延迟问题的部署挑战,而小型语言模型(SLMs)则以效率和部署性为代价,牺牲了性能。LLM和SLM之间的合作作为一种关键的范式,能够协同平衡这些权衡,使高级人工智能应用成为可能,特别适用于资源受限的边缘设备。本文综述了LLM-SLM合作,详细介绍了各种交互机制(流水线、路由、辅助、知识蒸馏、融合)、关键使能技术以及由设备需求驱动的多样化应用场景,如低延迟、隐私、个性化和离线操作。尽管强调了创建更高效、可适应和可访问的人工智能的巨大潜力,但我们也讨论了持续存在的挑战,包括系统开销、跨模型一致性、稳健的任务分配、评估复杂性以及安全/隐私问题。未来方向包括更智能的自适应框架、更深的模型融合,并扩展到多模态和具有体现的人工智能,将LLM-SLM合作定位为下一代实用和普及的人工智能的关键驱动力。