摘要
模型编辑旨在精准地改变大语言模型(LLMs)在特定知识层面的行为,同时保持与之无关的知识不受影响。这种方法已被证明在解决LLMs中的幻觉和过时信息问题上行之有效。然而,利用模型编辑来修改医学领域的知识的潜力仍然大多未被探索,尽管解决幻觉问题在该领域是一个迫切需求。我们的观察表明,当前方法在处理医学领域的专业和复杂知识时面临重大挑战。因此,我们提出了MedLaSA,一种用于医学模型编辑的新颖的分层可扩展适配器策略。MedLaSA结合了添加额外参数和定位-编辑方法的优点,用于医学模型编辑。我们利用因果追踪来识别不同层中神经元知识的关联,并根据每条知识的关联值生成相应的比例集。随后,我们将可扩展适配器整合到LLMs的密集层中。这些适配器根据相应的特定知识被分配比例值,从而允许调整适配器的权重和等级。内容越相似,它们之间的比例越一致。这确保了对语义相同知识的精准编辑,同时避免影响无关知识。为了评估编辑对LLMs行为的影响,我们提出了两个医学领域的模型编辑研究:(1)编辑医学专业的事实知识和(2)编辑复杂知识的解释能力。我们构建了两个新的医学基准数据集,并引入了一系列具有挑战性和全面性的指标。对医学LLMs的大量实验表明,MedLaSA在不影响无关知识的情况下具有编辑效率。