大型语言模型（LLM）可以成为各个领域宝贵的个人 AI 代理，前提是它们能够精确地遵循用户指令。然而，最近的研究表明，LLM 遵循指令的能力存在显著局限性，这引发了人们对其在高风险应用中的可靠性的担忧。准确估计 LLM 在遵守指令方面的不确定性对于减轻部署风险至关重要。据我们所知，我们首次对 LLM 在遵循指令方面的 uncertainty estimation 能力进行了系统的评估。我们的研究指出了现有指令遵循基准的关键挑战，其中多个因素与指令遵循产生的不确定性纠缠在一起，使得方法和模型之间的隔离和比较变得复杂。为了解决这些问题，我们引入了一个受控的评估设置，其中包含两个版本的基准数据，从而能够在各种条件下对不确定性估计方法进行全面的比较。我们的研究结果表明，现有的不确定性方法难以奏效，尤其是在模型在遵循指令时出现细微错误的情况下。虽然内部模型状态提供了一些改进，但在更复杂的场景中仍然不足。我们受控评估设置的见解为了解 LLM 在指令遵循任务中的局限性和不确定性估计的潜力提供了关键信息，为构建更值得信赖的 AI 代理铺平了道路。