arXiv:2503.21088v2 类型: replace-cross 摘要：本文介绍了ZJUKLAB团队参加SemEval-2025任务4（从大型语言模型中移除敏感内容）的提交。该任务旨在有选择地从大型语言模型中消除敏感知识，避免过度遗忘和不足遗忘的问题。我们提出了一种利用模型合并（具体而言是TIES-Merging）的遗忘系统，将两个专门的模型合并成一个更平衡的遗忘模型。我们的系统取得了竞争性的结果，在26个团队中排名第2，任务综合分数为0.944，总体综合分数为0.487。在本文中，我们还进行了局部实验，并对遗忘过程进行了全面分析，检查了性能轨迹、损失动态和权重视角，以及进行了几项补充实验，以了解我们方法的有效性。此外，我们分析了我们方法和评估指标的不足之处，强调仅凭MIA分数和基于ROUGE的指标无法全面评估成功的遗忘。最后，我们强调在未来的研究中需要更全面的评估方法论和重新考虑遗忘目标的重要性。代码可在https://github.com/zjunlp/unlearn/tree/main/semeval25获取。