近年来，人们对大型语言模型（LLM）的知识编辑越来越感兴趣。现有的方法和评估仅探索了实例级别的编辑，而 LLM 是否具备修改概念的能力尚不清楚。本文率先对 LLM 的概念知识编辑进行了研究，构建了一个新的基准数据集 ConceptEdit，并建立了一套新的评估指标。实验结果表明，虽然现有的编辑方法可以在一定程度上有效地修改概念级别的定义，但它们也可能扭曲 LLM 中相关的实例知识，导致性能下降。我们预计这将激励人们进一步深入理解 LLM。我们的项目主页位于 https://zjunlp.github.io/project/ConceptEdit。