arXiv:2501.15857v2 公告类型: 替换 摘要：人类通过整合各种来源的知识展现出卓越的组合推理能力。例如，如果某人从一个来源学到 (B = f(A))，从另一个来源学到 (C = g(B))，他们可以推断出 (C = g(B) = g(f(A)))，即使没有同时遇到 (ABC)，这展示了人类智能的泛化能力。在本文中，我们介绍了一个合成学习任务“FTCT”（训练阶段分散，测试阶段连贯）来验证变压器在复制这种能力方面的潜力并解释其内在机制。在训练阶段，数据由整个因果图中的分散知识片段组成。在测试过程中，变压器必须通过整合这些片段来推断完整的因果图踪迹。我们的研究发现，少量的思维链提示使变压器能够在FTCT上进行组合推理，即使这些组合未出现在训练数据中。此外，组合推理能力的出现与模型复杂性和训练-测试数据的相似性之间存在强烈的相关性。我们不仅从理论上而且从实验上提出了变压器在训练过程中学习了一个潜在的可泛化程序，在测试过程中实现了有效的组合推理。