arXiv:2505.08129v1 交叉类型: cross 摘要: 本文提出了一种用于机器学习的新正则化程序。提出的高阶正则化(HR)为正则化提供了新的见解，广泛用于训练神经网络，这些神经网络可以用于近似通用强化学习问题中的动作值函数。提出的HR方法确保了近似算法的可证明收敛性，这在正则化与使用神经网络的解释性学习之间的必要联系中起到了作用。提出的HR方法从理论上证明了正则化可以被视为逆映射的近似，并且可以计算出近似误差，其中$L_2$正则化是提出方法的低阶情况。我们提供了提出的HR解的误差上下界，这有助于构建可靠的模型。我们还发现，使用提出的HR的正则化可以被视为一个收缩。我们证明，在适当正则化矩阵的情况下，神经网络的一般化能力可以最大化，并且提出的HR适用于任何映射矩阵的神经网络。通过理论解释神经网络的极端学习机和提出的高阶正则化，人们可以更好地解释神经网络的输出，从而实现解释性学习。我们基于正则化极端学习神经网络呈现了一个案例研究，以展示提出的HR的应用，并给出了相应的增量HR解决方案。我们通过解决强化学习中的经典控制问题验证了所提出的HR方法的性能，结果证明了该方法在神经网络一般化能力方面的优越性能，显著增强了性能。