LLM2D
生成式AI 第二章:测试时缩放驱动认知工程
Generative AI Act II: Test Time Scaling Drives Cognition Engineering
作者: Shijie Xia, Yiwei Qin, Xuefeng Li, Yan Ma, Run-Ze Fan, Steffi Chern, Haoyang Zou, Fan Zhou, Xiangkun Hu, Jiahe Jin, Yanheng He, Yixin Ye, Yixiu Liu, Pengfei Liu
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.13828v3

摘要

arXiv:2504.13828v3 宣告类型: replace-cross 摘要:大型语言模型的第一代(可能称为生成AI的“Act I”时期,2020-2023年)通过大规模参数和数据缩放取得了令人瞩目的成功,但表现出根本性的局限性,如知识延迟、浅层次推理和受限制的认知过程。在这个时期,(prompt)工程成为我们与AI的主要接口,通过自然语言实现对话级别的沟通。我们现在目睹“Act II”(2024年至今)的出现,模型正在从潜在空间的知识检索系统转向通过测试时缩放技术的思想构建引擎。这一新的范式通过基于语言的思想与AI建立心智水平的连接。在本文中,我们阐明认知工程的概念基础,并解释为什么这一时刻对于其发展至关重要。我们通过全面的教程和优化的实现系统地分析这些先进方法,使认知工程的访问权更加普及,使每一位实践者能够参与到AI的第二幕中。我们提供了定期更新的测试时缩放论文集,可以在GitHub Repository中找到:https://github.com/GAIR-NLP/cognition-engineering