arXiv:2409.14175v1 公告类型: 交叉 摘要: 大型语言模型(LLMs)在问答(QA)系统领域取得了显著进展。这些模型在处理各个学科的复杂问题时表现出色。然而,由于特定领域的词汇、复杂的技术概念以及对精确回答的需求,将LLMs应用于电信等专业领域面临额外挑战。最近的研究中,GPT-3.5在检索增强生成(RAG)框架下,对电信相关问题的回答取得了显著的准确性。尽管如此,GPT-3.5等模型的实际应用受到其专有性质和高计算需求的限制。本文介绍了QMOS,一种创新方法,通过使用问题掩码损失和选项洗牌技巧,提高LLMs在电信领域多选题回答中的表现。我们的重点是利用开源、较小的语言模型(Phi-2和Falcon-7B)在增强的RAG框架内。我们的多方面方法涉及对整个LLM-RAG管道的微调、检索、提示工程和推理的多个改进。我们的方法显著优于现有结果,使用Falcon-7B将准确率从基线的24.70%提高到49.30%,使用Phi-2从42.07%提高到84.65%。