摘要
arXiv:2309.06774v2 宣布类型: replace-cross
摘要:尽管深度学习(DL)在许多学科中取得了多项突破,但关于DL为何以及如何实验证据上取得成功的基本理解仍然不清楚。为了攻击这一基本问题并解开DL实验证据成功背后的秘密,已经做出了朝着统一DL理论的重大创新。虽然这些创新几乎涵盖了优化、泛化和逼近等基本进步,但没有任何工作量化了基于DL算法解决模式分类问题的测试性能。为了部分克服这一基本挑战,本文揭示了使用hinge损失训练的基于DL的二元分类器的测试性能基本极限。对于基于深层ReLU前馈神经网络(FNN)和具有ReLU和Tanh激活函数的深层FNN的二元分类器,我们推导出了它们各自的新型渐近测试性能极限,并通过广泛的计算机实验进行了验证。