arXiv:2504.16760v1 公告类型: 新 摘要: 验证器是辅助模型，用于评估由基础大型语言模型（LLMs）生成的输出的正确性。它们在使用LLMs解决推理密集型问题的各种策略中扮演着至关重要的角色。通常，验证器本身就是LLM，往往比它们支持的基础模型更大，使其在计算成本上较为昂贵。在这项工作中，我们引入了一种新颖的轻量级验证方法LiLaVe，它可以可靠地从基础LLM的隐藏状态中提取正确性信号。LiLaVe的一个关键优势是，它可以仅使用传统LLM验证器所需计算预算的一小部分进行操作。为了证明其实用性，我们将LiLaVe与流行的元生成策略（如best-of-n或自我一致性）结合起来。此外，我们设计了基于LiLaVe的新方法，如条件自我纠正或条件多数投票，这些方法显著提高了使用较小的LLMs进行生成任务的准确性和效率。我们的工作证明了从LLM的隐藏状态中提取潜在信息的有效性，并为推理密集型应用提供了可扩展且资源高效的解决方案。