摘要
arXiv:2505.01343v1 通知类型: 新
摘要: 大型多模态模型随着时间的推移必然会因事实的改变和之前学到的信息变得过时而逐渐退化。传统的调优方法(如微调)由于模型的大小和复杂性往往不适用于更新这些模型。相反,在模型中直接进行知识编辑提供了一个更可行的解决方案。然而,当前的模型编辑技术通常忽略了不同事实的独特影响范围,导致在通用性和局部性方面都降低了模型性能。为了解决这一问题,我们引入了多模态模型编辑中的通用性-局部性权衡的概念。我们开发了一个名为OKEDIT的新模型编辑数据集,专门设计用于有效评估这一权衡。基于此基础,我们提出了BalancEdit,这是一种新型的平衡模型编辑方法,能够动态实现通用性和局部性的最佳平衡。BalancEdit 利用一种独特的机制,为每个事实生成正样本和负样本,以准确确定其影响范围,并使用一个离散的、局部的编辑代码本将这些见解整合到模型的潜在空间中,而不修改模型权重。据我们所知,这是第一个明确解决多模态模型编辑中通用性-局部性权衡的方法。我们的全面结果证实了BalancEdit的有效性,在实现最小权衡的同时保持了强大的编辑能力。我们的代码和数据集将可供使用。