LLM2D
平均池化下的随机子采样
Stochastic Subsampling With Average Pooling
作者: Bum Jun Kim, Sang Woo Kim
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.16630v1

摘要

深度神经网络的正则化一直是解决过拟合问题并提高泛化性能的重要课题。尽管常用的 Dropout 方法能够提供正则化效果,但它会导致输出结果的不一致性,从而降低深度神经网络的性能。在本研究中,我们提出了一种名为随机平均池化的全新模块,该模块将类似 Dropout 的随机性融入池化操作中。我们描述了随机子采样和平均池化的特性,并利用它们设计了一个没有任何不一致问题的模块。随机平均池化能够实现正则化效果,而不会因不一致性问题而导致潜在的性能下降,并且可以轻松地插入到现有的深度神经网络架构中。实验表明,用随机平均池化替换现有的平均池化,在各种任务、数据集和模型中都能带来一致的性能提升。