arXiv:2504.14762v1 Dropout 类型: cross 摘要: 我们提出一种组合性和图论意义上的dropout理论，通过将训练建模为高维二进制子网络图上的随机游走。每个节点表示网络的一种掩码版本，dropout 引起随机穿越这个空间。我们定义了一个子网络贡献得分来量化泛化能力，并展示它在图上是连续变化的。使用谱图论、PAC-Bayes 分析和组合数学工具，我们证明了泛化子网络形成了大规模、互连、低阻抗的簇，并且它们的数量随着网络宽度呈指数增长。这揭示了dropout作为一种机制，用于从鲁棒且结构化的高效泛化子网络的子网络池中进行采样，具有内置冗余。详尽的实验验证了每个理论断言，跨越了各种不同的架构。我们的结果共同提供了一个统一的基础来理解dropout，并建议了新的基于掩码的正则化和子网络优化方向。