arXiv:2502.15120v1 公告类型：交叉 摘要：本研究调查了不同模型大小和训练数据的各类仅解码器转型基于语言模型的在上下文学习能力，包括GPT2、SmolLM2、OpenELM、TinyLlama、Stable LM和Gemma 2。我们确定了一个关键参数阈值（约16亿），越过该阈值后，在常识推理的多项选择题回答和演绎推理等任务中的推理表现显著提高。特别是，超过该阈值的模型在演绎推理任务中的链式推理（CoT）提示下，成功率达到更高，尤其是那些需要更长推理链的任务，例如反证法和析取消去。为了应对阈值以下模型的局限性，我们展示了使用特定任务实例进行微调可以显著增强推理性能，即使在短推理链的任务提示中没有额外的实例，也能实现准确的CoT生成。最后，对我们分析的注意力图的观察揭示，能够生成正确CoT的模型在后续正确词和正确的词性标注上表现出更高的token级注意力分数，提供了解释推理过程的见解。这些发现共同推进了对仅解码器转型基于语言模型推理能力的理解。代码可以在以下链接获取：https://github.com/AnnonymousForPapers/CoT_Reasoning_Test。