LLM2D
证据图:学习证据分析以释放小规模语言模型在生物医学问答中的潜力
EvidenceMap: Learning Evidence Analysis to Unleash the Power of Small Language Models for Biomedical Question Answering
作者: Chang Zong, Jian Wan, Siliang Tang, Lei Zhang
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2501.12746v4

摘要

arXiv:2501.12746v4 通知类型: replace-cross 摘要: 在处理生物医学领域的专业问题时,人类通常会获取多份信息作为证据,并进行多方面的分析以提供高质量的答案。当前基于LLM的问答方法缺乏对证据分析的详细定义和学习过程,导致在使用证据时存在错误传播和幻觉的风险。尽管增加LLM的参数量可以缓解这些问题,但也带来了在资源有限的情况下训练和部署的挑战。在本研究中,我们提出了EvidenceMap,旨在使一个小小的预训练语言模型显式地学习生物医学证据的多个方面,包括支持性评估、逻辑关联和内容总结,从而隐式地引导一个小生成模型(约30亿参数)提供文本响应。实验结果表明,通过只微调一个66M参数模型来学习证据分析的方法,在参考质量和准确性方面分别超过了使用8B LLM的RAG方法19.9%和5.7%。