摘要
arXiv:2503.15166v2 机器可遗忘类型: 交叉替换
摘要:机器遗忘方法已成为在大规模预训练模型中选择性概念移除方面越来越重要的技术。尽管最近的研究已经探索了在欧几里得对比视觉-语言模型中的遗忘,但在双曲空间中的概念移除效果尚未得到探索。本文通过将对齐校准应用于MERU模型,研究了在双曲对比学习中的机器遗忘,MERU模型将图像和文本嵌入双曲空间以更好地捕捉语义层次结构。通过系统的实验和消融研究,我们证明了双曲几何为概念移除提供了独特的优势,实现了近乎完美的遗忘,同时在保留的概念上取得了合理的性能,尤其是在扩展到多个概念移除时更为显著。我们的方法引入了针对双曲空间的独特组件,包括蕴含校准和范数正则化,利用双曲空间的独特属性。与欧几里得模型的对比分析揭示了遗忘动力学的基本差异,双曲遗忘重组了语义层次结构,而欧几里得方法仅断开了跨模态关联。这些发现不仅推进了机器遗忘技术,还提供了有关几何属性如何影响多模态模型中概念表示和移除的见解。源代码可在 https://github.com/alex-pv01/HAC 获取。