arXiv:2502.01083v1 通知类型: 交叉 摘要: 工具增强的大语言模型（LLMs）通常是在查询-响应对的数据集上进行训练的，这将工具或API的使用能力直接嵌入到LLMs的参数化知识中。由于安全漏洞、隐私法规或工具弃用，工具增强的LLMs需要遗忘学到的工具的能力。然而，“工具遗忘”尚未在遗忘文献中进行研究。我们引入了这一新型任务，与传统的遗忘任务相比，它需要解决不同的挑战：知识删除而不是遗忘个别样本，优化LLMs的高成本，以及需要公正的评估指标。为了弥补这些差距，我们提出了ToolDelete，这是第一个用于从工具增强的LLMs中遗忘工具的方法。它实现了三种关键属性，以有效应对上述挑战，并引入了一种新的成员推理攻击（MIA）模型，用于有效的评估。在多个工具学习数据集和工具增强的LLMs上的大量实验表明，ToolDelete能够有效遗忘随机选定的工具，同时保持LLMs在未删除工具上的知识，并保持在一般任务上的性能。