arXiv:2505.01539v1 公告类型：新 摘要：生成式大语言模型在法律领域可以作为工具来改进司法体系。然而，当前生成式模型的推理行为脆弱且不为人所理解，因此无法在法律和证据领域负责任地应用。在这篇论文中，我们介绍了一种创建基准的方法，可以用于评估生成式语言模型的推理能力。这些基准是动态变化的，其复杂性可以扩展，并且具有正式且明确的解释。在此研究中，我们通过证人陈述为基础，表明了该方法，重点关注底层论证攻击结构。我们动态生成了不同复杂度的线性和非线性论证攻击图，并将这些图翻译成关于证人陈述的自然语言推理难题。我们显示，最先进的生成式语言模型在这些推理难题中经常失败，即使在低复杂度的情况下也是如此。模型做出明显的错误，其不一致的表现表明其推理能力是脆弱的。此外，在更高复杂度下，即使是专门为了展示推理能力而设计的最先进的模型也会犯错。我们展示了使用具有不同复杂度的参数化基准来评估生成式语言模型的推理能力的可行性。这样的发现有助于更好地理解生成式模型推理能力的局限性，这对于在法律领域设计负责任的人工智能系统至关重要。