arXiv:2501.15175v2 提示类型: 替换交叉 摘要：多项选择题（MCQs）是评估大型语言模型（LLMs）的一种流行且重要的任务。基于人们在回答MCQs时常用的方法，逐步排除法（PoE）已被提出作为一种有效的问题解决方法。现有的PoE方法通常分为两类：一类是让LLM直接选择错误选项，另一类是评分选项。然而，这两种方法都会导致高昂的计算成本，并且通常比直接使用选项ID回答MCQs的方法效果更差。为了应对这一问题，本文提出了一种基于选项ID的PoE方法。具体来说，我们的方法通过选择概率最低的选项ID来进行逐步排除。我们在零样本设置下对10种不同LLM在7个公开可用的数据集上进行了实验。实验结果表明，我们的方法显著提高了LLM的性能。进一步分析发现，逐步排除策略可以有效增强LLM的推理能力。此外，我们发现逐步排除也适用于少样本设置，并且可以与去偏方法结合使用，以进一步提升LLM的性能。