摘要
估计模型对其输出的置信度对于基于大型语言模型(LLMs)的对话式人工智能系统至关重要,尤其是在减少幻觉和防止过度依赖方面。在这项工作中,我们对各种方法进行了详尽的探索,包括针对开放和封闭权重LLMs提出的方法,旨在量化和利用模型的不确定性,以提高LLM生成响应的可靠性,特别是专注于任务导向对话系统(TODS)中的对话状态跟踪(DST)。无论模型类型如何,良好校准的置信度评分对于处理不确定性至关重要,从而提高模型性能。我们评估了基于softmax、原始token得分、言语化置信度以及这些方法组合的四种置信度评分估计方法,使用曲线下面积(AUC)指标评估校准情况,AUC越高表示校准越好。我们还通过自我探测机制增强了这些方法,该机制是为封闭模型提出的。此外,我们使用为DST任务微调的开放权重模型评估了这些方法,取得了优越的联合目标准确性(JGA)。我们的研究结果还表明,微调开放权重LLMs可以提高AUC性能,表明置信度评分校准得到了改进。