摘要
我们提出了一种基于深度视觉模型的 Alignment Importance Score (AIS) 热图的计算可解释性方法,用于人类比较任务。AIS 反映了特征图对深度神经网络 (DNN) 表示几何与人类表示几何之间对齐的独特贡献。我们首先通过展示在构建表示时仅使用从训练集中识别的较高 AIS 分数特征图,可以改善对样本外人类相似性判断的预测,从而验证了 AIS。然后,我们计算特定于图像的热图,这些热图直观地指示与具有较高 AIS 分数的特征图相对应的区域。这些地图提供了直观的解释,说明在将图像与队列中的其他图像进行比较时,哪些图像区域更重要。我们观察到这些热图与注视预测模型生成的显著性图之间存在对应关系。然而,在某些情况下,会产生有意义的差异,因为与比较相关的维度并不一定是视觉上最显著的。总之,Alignment Importance 提高了从 DNN 嵌入中预测人类相似性判断的能力,并提供了对图像空间中相关信息的解释性见解。