arXiv:2502.07503v3 通告类型: 更新 摘要: 受语言和多模态系统中语言分形几何学最新发现的启发，我们介绍了递归推理缩放(RINS)作为一种补充的即插即用方法，用于在语言和多模态系统中扩展推理时间。RINS是递归深度的一种特定形式，显著优于其他55种变体，包括最近的“重复一切”(RAO)策略(楼等人，2024)和潜性递归思考(Geiping等人，2025)。与以往研究不同，我们在计算能力匹配的环境中进行比较，并证明在固定模型大小和训练计算预算的情况下，RINS显著提高了语言建模性能。它还可以超越纯语言任务，为多模态系统带来收益，包括在SigLIP-B/16上0-shot ImageNet准确率提高2%。此外，通过推导数据缩放定律，我们展示了RINS提高了渐近性能限制和缩放指数。更重要的是，通过引入轻量级(线性)适配器(模型参数的<1%)和随机dropout，RINS提供了一种无悔策略，这意味着即使在推理时间不应用递归深度的情况下，RINS增强的预训练也会提高语言建模性能。这对应于在计算能力、参数数量和推理时间匹配的环境中改进性能，表明它作为大语言模型预训练组件的潜在可行性！