arXiv:2504.05571v1 宣布类型：交叉 摘要：尽管大型语言模型（LLMs）在预训练过程中获得了大量的知识，但它们往往缺乏特定领域的新信息或专业信息。持续预训练（CPT）试图解决这一问题，但却面临灾难性遗忘和低数据环境下的低效率问题。我们提出了知识指令（Knowledge-Instruct）这一新型方法，以高效地通过纯粹的指令调优从有限的语料库中注入知识。通过生成信息密集型的合成指令数据，它有效地整合了新知识，同时保持了通用的推理和指令遵循能力。知识指令展示了出色的事实记忆能力，最小化了灾难性遗忘，并通过利用相对较小的语言模型的合成数据保持了可扩展性。此外，它还增强了上下文理解，包括复杂的多跳推理，从而促进了与检索系统的集成。我们通过多样化的基准测试验证了其有效性，包括一个新发布的数据集Companies，用于衡量知识注入能力。