LLM2D
上下文学习综述
A Survey on In-context Learning
作者: Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Jingyuan Ma, Rui Li, Heming Xia, Jingjing Xu, Zhiyong Wu, Tianyu Liu, Baobao Chang, Xu Sun, Lei Li, Zhifang Sui
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2301.00234v5

摘要

随着大型语言模型(LLM)能力的不断提升,上下文学习(ICL)已成为自然语言处理(NLP)领域的一种新范式,其中 LLM 基于包含少量示例的上下文进行预测。探索 ICL 以评估和推断 LLM 的能力已成为一项重要趋势。本文旨在综述和总结 ICL 的进展和挑战。首先,我们对 ICL 给出了一个正式定义,并阐明了它与相关研究之间的关系。然后,我们组织并讨论了先进的技术,包括训练策略、提示设计策略和相关分析。此外,我们还探讨了 ICL 的各种应用场景,例如数据工程和知识更新。最后,我们探讨了 ICL 的挑战,并提出了未来研究的潜在方向。我们希望我们的工作能够鼓励更多关于 ICL 工作原理和改进 ICL 的研究。