知识编辑将知识更新注入语言模型，以保持其正确性和最新性。然而，目前对其的评估与实际应用存在显著偏差：它们的知识更新仅包含来自精心制作的数据集的结构化事实，而不是来自实际来源——如新闻文章等非结构化文本，并且它们经常忽略实际的现实世界知识更新。为了解决这些问题，本文提出了 AKEW（评估现实世界中的知识编辑），一个新的针对知识编辑的实用基准。AKEW 涵盖了知识更新的三种编辑设置：结构化事实、非结构化文本作为事实以及提取的三元组。它还引入了包含反事实和现实世界知识更新的新数据集。通过大量的实验，我们证明了最先进的知识编辑方法与实际场景之间存在相当大的差距。我们的分析进一步强调了关键见解，以激励未来针对实用知识编辑的研究。