LLM2D
学习在测试时停止过度思考
Learning to Stop Overthinking at Test Time
作者: Hieu Tran Bao, Nguyen Cong Dat, Nguyen Duc Anh, Hoang Thanh-Tung
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10954v2

摘要

arXiv:2502.10954v2 交叉类型: cross 摘要: 测试时缩放目前是最活跃的研究领域之一,在训练时缩放达到极限后表现出很大的潜力。深度思考(DT)模型是一类递归模型,可以通过为更难的测试样本分配更多的计算资源来实现从容易到困难的一般化。然而,由于它们无法确定测试样本的复杂性,DT模型在处理容易和难的测试样本时都需要大量计算资源。过多的测试时计算资源是浪费的,并且可能导致“过度思考”问题,即更多的测试时计算资源会导致更差的结果。在本文中,我们介绍了一种测试时训练方法,用于确定测试时每个样本所需的最优计算量。我们还提出了一种新的递归架构Conv-LiGRU,用于高效的稳健视觉推理。广泛的实验表明,Conv-LiGRU比DT更稳定,有效地缓解了“过度思考”现象,并实现了更优的准确率。