arXiv:2308.02293v4 宣告类型: 交叉替换 摘要: 在这项研究中，我们使用高度表达的神经网络解决异常值鲁棒预测建模的挑战。我们的方法集成了两个关键组件：(1) 变换截尾损失(TTL)，这是经典截尾损失的高效变体；(2) 高阶变异性正则化(HOVR)，它在预测函数上施加平滑性约束。传统稳健统计通常假设低复杂度模型，如线性和核模型，但在现代神经网络中单独应用TTL可能无法确保鲁棒性，因为它们的高度表达能力使得它们能够拟合内点和异常值，即使使用稳健损失也是如此。为了解决这一问题，我们重新审视了传统的失效点概念，并将其适应到非线性函数设置中，通过HOVR引入了一种正则化方案来控制模型的能力并抑制对异常值过度拟合。我们理论证明了我们的训练过程保留了较高的功能失效点，从而确保了对异常值污染的鲁棒性。我们为此框架开发了一种随机优化算法，并提供了其收敛性的理论保证。