arXiv:2308.09138v2 宣布类型: replace-cross 摘要：大规模语言模型（LLMs）在各种自然语言任务中表现出卓越的流畅性和能效。然而，最近的研究突显了它们对输入提示变化的高度敏感性。为了以安全可靠的方式部署LLMs，确保在提示具有相同意义或意图的表达时其输出一致性至关重要。虽然一些现有工作探讨了先进LLMs如何解决这一问题，但它们的评估仅限于评估单一或多个单词答案的词汇一致性，而忽视了生成文本序列的一致性。为了更全面地了解LLMs在开放文本生成场景中的一致性，我们引入了一种通用的语义一致性度量方法，并提出了多种该度量方法的版本以评估各种LLMs的性能。我们的提议在语义一致性方面显示了明显更高的一致性和更强的人类评估输出一致性的相关性，超过了基于词汇一致性的传统度量方法。最后，我们提出了一种新的提示策略，称为“选择要问”（Ask-to-Choose，A2C），以增强语义一致性。当根据TruthfulQA基准中的答案变化对封闭书本问答进行评估时，A2C可以将预训练和微调LLMs的准确性指标提高多达47%，并使指令调整模型的语义一致性指标提高多达7倍。