arXiv:2502.00577v1 公告类型: 新 摘要: 多模态大型语言模型（MLLMs）显示出了有前途的能力，但在分布转移的情况下表现不佳，即评估数据与指令调优分布不同。尽管以前的研究提供了实证评价，但我们认为，为了确保MLLMs在现实世界中的安全和可靠应用，有必要建立一个可以表征和量化MLLMs风险的正式框架。从信息论的角度出发，我们提出了首个理论框架，能够量化MLLMs在分布转移下的最大风险。我们框架的核心是引入有效互信息（EMI），这是一种原则性的度量，用于量化输入查询与模型响应的相关性。我们推导了EMI差异的上界，将其与视觉和文本分布差异联系起来。在涵盖61种转移场景的实际基准数据集上的广泛实验，实证验证了我们的理论见解。