摘要
arXiv:2504.13828v2 通告类型: 替换-交叉
摘要:第一代大型语言模型 - 可能称为生成型AI的"第一幕"(2020-2023年) - 通过大规模参数和数据缩放取得了令人瞩目的成功,但在知识延迟、浅层推理和限制性的认知过程方面也表现出根本性的局限性。在这段时间里,提示工程成为我们与AI的主要交互界面,通过自然语言实现对话级别的沟通。我们现在目睹了"第二幕"(2024年至今)的出现,其中模型从潜空间的知识检索系统过渡到通过测试时缩放技术构建思维的引擎。这一新的范式通过基于语言的思想与AI建立了心灵层面的连接。在本文中,我们澄清了认知工程的概念基础,并解释了为什么这一刻对它的开发至关重要。我们通过全面的教学和优化的实现系统地拆解了这些先进的方法,为认知工程的普及化作出了贡献,并让每一位实践者参与到AI的第二幕中来。我们提供了一个定期更新的关于测试时缩放的论文集合,该集合可以在GitHub Repository中获取:https://github.com/GAIR-NLP/cognition-engineering