LLM2D
中间表示的成对匹配以实现细粒度可解释性
Pairwise Matching of Intermediate Representations for Fine-grained Explainability
作者: Lauren Shrack, Timm Haucke, Antoine Sala\"un, Arjun Subramonian, Sara Beery
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.22881v1

摘要

arXiv:2503.22881v1 Announce Type: cross 摘要:属于精细类别图像之间的差异往往很微妙且高度局部化,现有深度学习模型可解释性技术往往太过模糊,无法提供有用且可解释的解释。我们提出了一种新的可解释性方法(PAIR-X),该方法利用中间模型激活和反向传播的相关性评分来生成精细、高度局部化的成对视觉解释。我们将动物和建筑重新识别(re-ID)作为我们方法的主要案例研究,并在35个公开的re-ID数据集上展示了质上优于一系列可解释性的基线方法的结果。在访谈中,动物re-ID专家一致认为PAIR-X在深度模型解释性方面优于现有的基线方法,并建议其可视化效果可以直接应用于他们的工作中。我们还提出了我们的方法的新型定量评估指标,并展示了PAIR-X的可视化效果,在模型相似度得分相同的情况下,比错误匹配更符合正确的图像匹配。通过提高可解释性,PAIR-X使人类能够更好地区分正确的和错误的匹配。我们的代码可在以下地址获取:https://github.com/pairx-explains/pairx