LLM2D
Home
Arxiv
返回列表
鲁棒性神经网络训练:基于变分正则化的变换修剪损失的有效优化
Outlier-Robust Neural Network Training: Efficient Optimization of Transformed Trimmed Loss with Variation Regularization
作者:
Akifumi Okuno, Shotaro Yagishita
发布日期:
10/10/2024
arXiv ID:
oai:arXiv.org:2308.02293v3
摘要
本研究考虑使用高表达能力的神经网络进行抗异常值预测建模。为此,我们采用了 (1) 变换修剪损失 (TTL),它是经典修剪损失的一种计算可行的变体,以及 (2) 预测模型的高阶变分正则化 (HOVR)。需要注意的是,仅使用 TTL 来训练神经网络可能会存在异常值脆弱性,因为其高表达能力会导致它甚至完美地过拟合异常值。然而,同时引入 HOVR 则限制了有效自由度,从而避免拟合异常值。我们新提出了一种有效的随机优化算法及其理论收敛性保证。(*两位作者对这项工作贡献相同。)
查看原文
下载 PDF