摘要
arXiv:2412.16751v2 公告类型: 替换-交叉
摘要:本文挑战了卷积神经网络(CNN)滤波器在更深的层中变得越来越专业化这一主流观点。受深度可分离卷积神经网络(DS-CNNs)在训练于ImageNet上时出现的可分簇的重复模式的近期观察启发,我们将这一调查扩展到不同的领域和数据集中。我们对DS-CNNs的分析表明,深层滤波器保持了一般性,这与滤波器转变为类特定滤波器的预期转变相矛盾。我们通过迁移学习实验展示了这些滤波器的泛化能力,表明从不同数据集训练的模型中冻结的滤波器表现良好,并且当来源于更大的数据集时,可以进一步改进。我们的研究结果表明,在所有层、领域和架构中,深度可分离卷积学习的空间特征保持了一般性。该研究为神经网络泛化本质提供了新的见解,特别在DS-CNNs中,并对迁移学习和模型设计具有重要意义。