LLM2D
基于胡格损失训练的深度学习二分类器的基本极限
Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss
作者: Tilahun M. Getu, Georges Kaddoum, M. Bennis
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2309.06774v2

摘要

arXiv:2309.06774v2 宣布类型: replace-cross 摘要:尽管深度学习(DL)在许多学科中取得了多项突破,但关于DL为何以及如何实验证据上取得成功的基本理解仍然不清楚。为了攻击这一基本问题并解开DL实验证据成功背后的秘密,已经做出了朝着统一DL理论的重大创新。虽然这些创新几乎涵盖了优化、泛化和逼近等基本进步,但没有任何工作量化了基于DL算法解决模式分类问题的测试性能。为了部分克服这一基本挑战,本文揭示了使用hinge损失训练的基于DL的二元分类器的测试性能基本极限。对于基于深层ReLU前馈神经网络(FNN)和具有ReLU和Tanh激活函数的深层FNN的二元分类器,我们推导出了它们各自的新型渐近测试性能极限,并通过广泛的计算机实验进行了验证。