LLM2D
近似正交投影单元:利用自然梯度稳定回归网络训练
Approximated Orthogonal Projection Unit: Stabilizing Regression Network Training Using Natural Gradient
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15393v1

摘要

神经网络 (NN) 因其特征提取和函数逼近能力,在尖端的软传感器模型中得到了广泛研究。当前基于网络的方法研究主要集中在模型的离线精度上。值得注意的是,在工业软传感器的背景下,在线优化稳定性和可解释性优先于精度。这需要对网络的训练过程有更清晰的理解。为了弥合这一差距,我们提出了一种名为近似正交投影单元 (AOPU) 的新型神经网络,它具有坚实的数学基础并展现出优越的训练稳定性。AOPU 在双参数处截断梯度反向传播,优化可追踪参数更新,并增强训练的鲁棒性。我们进一步证明 AOPU 在 NN 中实现了最小方差估计 (MVE),其中截断梯度近似自然梯度 (NG)。在两个化工过程数据集上的实证结果清楚地表明,AOPU 在实现稳定收敛方面优于其他模型,标志着软传感器领域的一项重大进步。