LLM2D
推理缩放规律的简单模型
A Simple Model of Inference Scaling Laws
作者: Noam Levi
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16377v1

摘要

神经网络缩放定律因其能够预测模型性能(作为参数、数据和计算量增加的函数)而受到广泛关注。本研究提出了一种基于记忆化的简单统计假设来研究推理中的缩放定律,特别是性能如何随着多次推理尝试而提高。我们探讨了覆盖率或pass@k指标,该指标衡量了重复尝试成功的概率,并为大型语言模型 (LLM) 在推理任务中观察到的覆盖率推理缩放行为的函数形式提供了动机。然后,我们定义了一个“推理损失”,它随着试验次数的增加呈幂律衰减,并将此结果与提示成本联系起来。我们通过在一个简单的生成模型上进行实验进一步验证了我们的模型,发现我们的预测与受控环境下的经验覆盖率曲线一致。我们简单的框架为将推理缩放与其他已知的缩放定律结合起来奠定了基础。