LLM2D
通过缓慢变化序列实现稳定的机器学习模型重训练
Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences
作者: Dimitris Bertsimas, Vassilis Digalakis Jr, Yu Ma, Phevos Paschalidis
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2403.19871v5

摘要

arXiv:2403.19871v5 Announce Type: replace-cross 摘要:我们考虑当新批次的数据可用时重新训练机器学习(ML)模型的问题。现有方法在每个批次上单独优化预测能力,而不考虑模型结构在重新训练迭代过程中的稳定性或分析洞察力。我们提出了一种通用框架,用于寻找在重新训练迭代过程中稳定的模型序列。我们开发了一种混合整数优化模型,可以保证恢复帕累托最优模型(基于预测能力-稳定性的权衡),同时具有良好的泛化性能,还开发了一个高效的多项式时间算法,在实践中表现良好。我们通过使用可以直接纳入优化问题的自定义定义的距离度量来关注保持一致的分析洞察力,这对于模型解释性、实施简便性和与用户的信任培养非常重要。我们在回归、决策树、提升树和神经网络等多个模型以及医疗保健、视觉和语言等多个应用领域进行了评估,包括在美国一家大型医院的生产管道中部署。我们发现,平均而言,预测能力降低2%会带来30%的稳定性提升。