arXiv:2504.01196v1 类别: cross 摘要: 大型语言模型（LLMs）已经成为了强大的知识库，但受限于静态训练数据，这导致了幻觉和安全风险等问题。通过定位并编辑模型的内部知识的方法已经被证明是一种成本效益较高的替代方案，虽然现有的无结构方法，尤其是基于窗口的自回归方法，往往会破坏早期记忆更新与后续输出标记之间的因果依赖关系。在本文中，我们首先理论分析了这些限制，然后介绍了马特罗什卡无结构知识编辑（$\mu$KE）这一新颖的记忆更新机制，该机制通过马特罗什卡风格的目标和自适应损失系数来保留这些依赖关系。在两个模型上的四个基准测试中的实证评估表明，$\mu$KE 在编辑实效性上相比最先进的方法最多提高了 12.33%，并且在应用于各种格式化编辑时保持了鲁棒性，这凸显了其在LLMs中进行有效的无结构知识编辑的潜力。