arXiv:2409.14175v2 通知类型: replace-cross 摘要：大规模语言模型（LLMs）在问答系统领域带来了重大进展。这些模型在多种学科中应对复杂问题方面表现出色。然而，由于领域特定的词汇、复杂的科学技术概念以及需要精确回答的需求，将LLMs应用于如电信这样的专门领域带来了额外的障碍。最近的工作中使用了GPT-3.5，在检索增强生成（RAG）框架中获得了电信相关问题的显著准确性。尽管取得了这些进展，但如GPT-3.5这样的模型因其专有性质和高计算需求限制了其实际应用。本文介绍了一种名为QMOS的创新方法，该方法使用问题掩蔽损失和选项洗牌技巧来增强电信领域对多项选择题回答的LLM性能。我们的重点是在改进的RAG框架中使用开源的小型语言模型（Phi-2和Falcon-7B）。我们的多方面方法涉及整个LLM-RAG管道的细化、检索、提示工程和推理的多项改进。我们的方法显著优于现有结果，使用Falcon-7B时从基线提高了24.70%至49.30%，使用Phi-2时从42.07%提高至84.65%。