arXiv:2504.14848v1 类型: cross 摘要：视觉-语言模型（VLMs）在各种多模态任务中表现出色，但经常遭受校准不良的问题，导致其口头表达的置信度与响应的正确性之间存在不一致。这种校准不良削弱了用户的信任，特别是当模型自信地提供错误或虚构的信息时。在本文中，我们提出了一种新的通过语义扰动进行置信校准（CSP）框架，以提高VLMs对以对象为中心的问题响应时口头表达的置信度的校准。我们首先引入了一个扰动数据集，在该数据集中对关键对象区域应用高斯噪声，以模拟不同置信水平的视觉不确定性，从而建立视觉模糊性与置信水平之间的显式映射。我们进一步通过结合在扰动数据集上的监督微调和随后的偏好优化的两阶段训练过程来增强校准。在流行的基准测试上的广泛实验表明，我们的方法显著提高了口头表达的置信度与响应正确性之间的对齐，同时保持或提高了整体任务性能。这些结果突显了语义扰动作为提高VLMs可靠性和可解释性的一种实用工具的潜在价值。