LLM2D
O1复现之旅——第二部分:通过简单的蒸馏超越O1-预览版,是巨大的进步还是苦涩的教训?
O1 Replication Journey -- Part 2: Surpassing O1-preview through Simple Distillation, Big Progress or Bitter Lesson?
作者: Zhen Huang, Haoyang Zou, Xuefeng Li, Yixiu Liu, Yuxiang Zheng, Ethan Chern, Shijie Xia, Yiwei Qin, Weizhe Yuan, Pengfei Liu
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.16489v1

摘要

本文批判性地审视了当前复制OpenAI O1模型能力的方法,特别关注知识蒸馏技术的广泛应用(尽管常常未公开披露)。虽然我们之前的研究探索了复制O1模型的基本技术路径,但本研究揭示了如何通过简单的O1 API蒸馏结合监督微调,在复杂的数学推理任务上取得优异的性能。通过大量的实验,我们表明,在一个仅用数万个O1蒸馏的长链样本进行微调的基础模型上,在无需复杂技术的情况下,其在全美邀请数学考试(AIME)上的表现优于O1预览版。此外,我们的研究还超越了数学推理,探索了O1蒸馏模型在不同任务上的泛化能力:幻觉、安全性和开放域问答。值得注意的是,尽管只在数学问题求解数据上进行训练,我们的模型在开放式问答任务中表现出强大的泛化能力,并且在微调后对谄媚行为的敏感性显著降低。我们故意公开这一发现,以促进人工智能研究的透明度,并挑战该领域目前模糊的技术声明的趋势。我们的工作包括:(1)对蒸馏过程及其有效性的详细技术阐述;(2)一个全面的基准框架,用于根据其技术透明度和可重复性评估和分类O1复制尝试;(3)对过度依赖蒸馏方法的局限性和潜在风险的批判性讨论;我们的分析最终得出一个至关重要的教训:虽然追求更强大的AI系统很重要,但培养基于第一性原理思考的研究人员至关重要。