摘要
大型语言模型(LLMs)由于其卓越的理解、分析和基于广泛知识和推理能力生成文本的能力,最近在学术界和工业界都发生了变革。然而,LLMs的一个主要缺点是预训练的巨大计算成本,这是由于其前所未有的参数数量。当需要频繁地将新知识引入预训练模型时,这一缺点更加明显。因此,开发有效且高效的更新预训练LLMs的技术变得至关重要。传统方法通过直接微调将新知识编码到预训练的LLMs中。然而,简单地重新训练LLMs可能会计算密集,并可能使与更新无关的宝贵预训练知识退化。最近,基于知识的模型编辑(KME)引起了越来越多的关注,其目标是精确地修改LLMs以纳入特定知识,而不负面影响其他无关知识。在这篇综述中,我们旨在提供对KME领域最新进展的全面深入概述。我们首先介绍了一个涵盖不同KME策略的通用公式。随后,我们基于新知识如何引入预训练LLMs,提供了一个创新的KME技术分类,并研究了现有的KME策略,同时分析了每类方法的关键见解、优势和局限性。此外,我们相应地介绍了KME的代表性指标、数据集和应用。最后,我们深入分析了KME的实用性和剩余挑战,并提出了该领域进一步发展的有前景的研究方向。