arXiv:2310.08184v2 宣告类型: 替换 摘要：基础知识模型（Foundation Models, FM）在广泛的任务中展现了卓越的表现（尤其是在自然语言处理和计算机视觉领域），这主要归因于它们理解指令和访问大量高质量数据的能力。这不仅展示了当前模型的有效性，也为人工通用智能的发展奠定了前景。然而，由于多种限制，用于大型模型训练的模型数据往往不可访问，因此端到端模型在下游任务中的应用已成为新的研究趋势，我们在本文中称之为从模型学习（Learn From Model, LFM）。LFM 关注于基于模型界面对 FM 的研究、修改和设计，以便更好地理解模型结构和权重（在黑盒环境中），并使模型适用于下游任务。从 LFM 的视角，从基础知识模型（FM）出发，研究 LFM 技术的方法可以大致分为五个主要领域：模型调优、模型蒸馏、模型重用、元学习和模型编辑。每个领域涵盖了旨在增强 FM 能力和性能的一系列方法和策略。本文提供了当前基于基础知识模型（FM）的技术进行全面回顾，以帮助读者更好地理解当前的研究状况和理念。最后，我们总结了研究，并强调了未来探索的几个关键领域，并指出了需要研究社区进一步关注的开放问题。我们在本文中调查的相关论文可以访问 https://github.com/ruthless-man/Awesome-Learn-from-Model