LLM2D
从AlexNet到变换器:使用仿射最优传输度量深度神经网络的非线性程度
From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport
作者: Quentin Bouniot, Ievgen Redko, Anton Mallasto, Charlotte Laclau, Oliver Struckmeier, Karol Arndt, Markus Heinonen, Ville Kyrki, Samuel Kaski
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2310.11439v4

摘要

arXiv:2310.11439v4 通知类型: replace-cross 摘要:在过去的十年中,我们见证了多种新型深度神经网络(DNN)架构的出现,这些架构在各种任务中的性能不断提高。然而,解释其性能上升趋势却变得非常困难,因为即使是训练同一数据集,具有可比深度和宽度的不同DNN架构——这些因素通常与它们的表征能力相关——也可能表现出截然不同的性能。在本文中,我们提出了DNN非线性签名的概念,这是一套理论上可靠的方法,用于近似测量深度神经网络的非线性。基于从封闭形式最优传输映射派生的评分,这种签名提供了对广泛DNN架构和学习范式的内部工作机制的更好理解,特别是在计算机视觉任务方面。我们提供了详细的实验结果,强调了所提出的非线性签名的实际用处及其广泛潜在影响。我们的工作的代码可以在 https://github.com/qbouniot/AffScoreDeep 获得。