arXiv:2410.02205v3 宣布类型：替换交叉 摘要：大语言模型（LLMs）预期具备可预测性和可靠性，以支持可靠的决策系统。然而，当前的LLMs在判断上经常表现出不一致。在本文中，我们考察逻辑偏好一致性作为构建更可靠的LLM系统的基础要求，以确保稳定和一致的决策过程，同时最小化不规则或矛盾的输出。为了量化逻辑偏好一致性，我们提出了一种基于三个基本属性的通用评估框架：传递性、可交换性和否定不变性。通过在多种多样的LLMs中进行广泛的实验，我们证明这些属性是判断稳健性的强指标。此外，我们引入了一种数据细化和增强技术REPAIR，该技术在保持与人类偏好一致性的前提下提高逻辑一致性。最后，我们证明提高一致性能够提升LLM驱动的基于逻辑的算法的性能，从而增强决策系统中的稳定性和一致性。