LLM2D
MedAdapter:面向医疗推理的大语言模型高效测试时自适应方法
MedAdapter: Efficient Test-Time Adaptation of Large Language Models towards Medical Reasoning
作者: Wenqi Shi, Ran Xu, Yuchen Zhuang, Yue Yu, Haotian Sun, Hang Wu, Carl Yang, May D. Wang
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2405.03000v2

摘要

尽管大型语言模型(LLMs)在生成和推理方面能力有所提高,但由于其庞大的规模和企业隐私问题,将它们应用于生物医学领域仍然面临挑战。在这项工作中,我们提出了 MedAdapter,一种统一的后期适配器,用于将 LLM 测试时适应生物医学应用。MedAdapter 并非微调整个 LLM,而是通过仅微调一个小的 BERT 尺寸适配器来有效地适应原始模型,以对 LLM 生成的候选解决方案进行排序。实验表明,MedAdapter 有效地适应了生物医学推理中的白盒和黑盒 LLM,分别实现了 25.48% 和 11.31% 的平均性能提升,而无需大量的计算资源或与第三方共享数据。MedAdapter 在与训练时适应相结合时也表现出优异的性能,突出了对现有适应方法的灵活和互补解决方案。面对平衡模型性能、计算资源和数据隐私的挑战,MedAdapter 为将 LLM 适应生物医学领域提供了一种高效、隐私保护、经济高效且透明的解决方案。