摘要
arXiv:2502.00641v2 公告类型: 替换交叉
摘要:在资源受限环境中对高效摘要工具日益增长的需求突显了有效解决方案的必要性。虽然大型语言模型(LLMs)提供卓越的摘要质量,但它们对计算资源的高需求限制了其实用应用。相比之下,小型语言模型(SLMs)提供了一种更具可访问性的替代方案,能够在边缘设备上实现实时摘要。然而,SLMs的摘要能力及其与LLMs的相对性能仍然未被充分探索。本文通过在2000篇新闻样本上对19种SLMs进行全面评估,关注相关性、连贯性、事实一致性以及摘要长度,填补了这一空白。我们的研究表明,SLM的性能存在显著差异,表现最佳的模型,如Phi3-Mini和Llama3.2-3B-Ins,能够在生成更简洁的摘要的同时,达到与70B LLM相当的结果。值得注意的是,对于简单的提示,SLMs更为适用,而过于复杂的提示可能会导致摘要质量下降。此外,我们的分析表明,指令微调并不总是能够增强SLMs的新闻摘要能力。本研究不仅加深了对SLMs的理解,还为寻求兼顾性能和资源使用的高效摘要解决方案的研究人员提供了实用见解。