摘要
arXiv:2504.10020v1 公告类型: cross
摘要:对比解码策略在减少多模态大型语言模型(MLLMs)中的幻觉现象方面被广泛应用于减少幻觉。这些方法通过构造对比样本来诱发幻觉,然后在输出分布中抑制它们。然而,本文表明,此类方法无法有效地解决幻觉问题。POPE基准上观察到的性能提升主要受到两个误导性因素的驱动:(1)对模型输出分布的粗略、单向调整和(2)自适应合理性约束,这将采样策略简化为贪婪搜索。为进一步阐明这些问题,我们引入了一系列虚假改进方法,并将它们的性能与对比解码技术进行了比较。实验结果揭示,对比解码观察到的性能提升与减轻幻觉这一预期目标完全无关。我们的发现挑战了对比解码策略有效性的常见假设,并为开发真正有效的减轻MLLMs中幻觉的方法铺平了道路。