摘要
概率必要性和充分性 (PNS) 衡量特征集同时作为预测结果的必要条件和充分条件的可能性。它已被证明可有效指导单模态数据的表示学习,从而提高预测性能和模型鲁棒性。尽管具有这些优点,但 PNS 向多模态环境的扩展仍未探索。这种扩展带来了独特的挑战,因为 PNS 估计的条件(外生性和单调性)需要在多模态环境中重新考虑。我们首先将多模态表示概念化为包含模态不变和模态特定组件,以此来应对这些挑战。然后,我们分析如何计算每个组件的 PNS,同时确保 PNS 估计非平凡。基于这些分析,我们制定了易于处理的优化目标,使多模态模型能够学习高 PNS 表示。实验结果证明了我们的方法在合成数据和真实世界数据上的有效性。