摘要
arXiv:2409.14175v2 通报类型: replace-cross
摘要:大规模语言模型(LLMs)在问答(QA)系统领域带来了重大进展。这些模型在各种学科中应对复杂查询方面表现卓越。然而,由于领域特定的词汇、复杂的科学技术概念以及对精确回答的要求,将LLMs应用于 Telecom等专业领域带来了额外的挑战。最近的一项工作中使用了GPT-3.5,在检索增强生成(RAG)框架中获得了与电信相关的问题的显著精度。尽管取得了这些进展,但像GPT-3.5这样的模型因其专有性质和高计算需求限制了其实用应用。本文介绍了QMOS,这是一种创新的方法,使用问题屏蔽损失和选项打乱技巧来增强LLMs在电信领域回答多项选择题的性能。我们的重点是使用开源、较小的语言模型(Phi-2 和 Falcon-7B)来增强改进的RAG框架。我们的多方面方法涉及对整个LLM-RAG流水线(包括微调、检索、提示工程和推理)的多项改进。我们的方法显著优于现有结果,Falcon-7B 的基线改进达到 24.70% 至 49.30%,Phi-2 的基线改进达到 42.07% 至 84.65%。