摘要
arXiv:2505.04397v1 类别:交叉学科
摘要:我们提出了一种深度产品单元残差神经网络(PURe),将产品单元整合到残差块中,以提高深度卷积网络的表达能力和参数效率。与标准求和神经元不同,产品单元能够实现乘法特征交互,有可能提供更强大的复杂模式表示。PURe在每个残差块的第二层用二维产品单元取代了传统的卷积层,从而保留了结构信息而不使用非线性激活函数。我们在三个基准数据集上验证了PURe。在Galaxy10 DECaLS上,PURe34达到了84.89%的最高测试准确率,超过了更深的ResNet152,同时收敛速度快了近五倍,并且对泊松噪声表现出很强的鲁棒性。在ImageNet上,与类似深度的ResNet模型相比,PURe架构表现出更优的效果,PURe34实现了第一精度80.27%和第五精度95.78%,尽管使用了更少的参数和计算资源,还超过了更深的ResNet变体(ResNet50, ResNet101)。在CIFAR-10上,无论深度如何,PURe都优于ResNet变体,PURe272达到了95.01%的测试准确率,与ResNet1001相当,但模型大小却小了一半。这些结果表明,PURe在准确率、效率和鲁棒性之间实现了良好的平衡。与传统的残差网络相比,PURe不仅在收敛速度更快和参数更少的情况下实现了竞争力的分类性能,还对噪声表现出更强的鲁棒性。其在不同数据集上的有效性突显了基于产品单元架构在计算机视觉中实现可扩展和可靠深度学习的潜力。