arXiv:2503.09046v2 宣告类型: replace-cross 摘要：视觉变换器模型展现了巨大的潜力，但仍然难以为人脑所理解，这在其实用应用中提出了挑战和风险。尽管先前研究试图通过输入归因和神经元作用分析来揭开这些模型的神秘面纱，但在考虑层级信息以及在整个模型中的信息流路径方面仍然存在明显的差距。在本文中，我们探讨了视觉变换器中具有影响力神经元路径的重要性，这是一种从模型输入到输出的路径，对模型推理的影响最大。我们首先提出了一种联合影响度量方法，用于评估一组神经元对模型结果的贡献。并通过一种逐层寻找最具影响力的神经元的方法，高效地在目标模型中发现从输入到输出的关键神经元路径。我们的实验证明，与现有基准解决方案相比，我们方法在寻找沿此路径流动的信息的最具影响力的神经元路径方面表现出优越性。此外，通过这些神经元路径的展示，我们发现视觉变换器在处理同一类别图像信息方面具有特定的内部工作机制。进一步分析了这些神经元对图像分类任务的影响，展示了找到的神经元路径已经保留了模型在下游任务的能力，这可能也有助于实际应用中的模型修剪。该项目网站包括实现代码，可访问 https://foundation-model-research.github.io/NeuronPath/。