LLM2D
独立架构的一般化界面对过参数化的深ReLU网络的研究
Architecture independent generalization bounds for overparametrized deep ReLU networks
作者: Thomas Chen, Chun-Kai Kevin Chien, Patricia Mu\~noz Ewald, Andrew G. Moore
发布日期: 4/9/2025
arXiv ID: oai:arXiv.org:2504.05695v1

摘要

arXiv:2504.05695v1 类别: cross 摘要: 我们证明了过参数化的神经网络能够实现与过参数化程度无关的、与Vapnik-Chervonenkis (VC) 维数无关的测试误差泛化能力。我们证明了仅依赖于测试集和训练集的度量几何、激活函数的正则性质以及权重的算子范数和偏置的范数的明确边界。对于输入空间维度受限的训练样本大小下过参数化的深层ReLU网络,我们明确构造了无需使用梯度下降的零损失最小化器,并证明了泛化误差与网络架构无关。