LLM2D
通过缓慢变化序列实现稳定的机器学习模型重新训练
Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences
作者: Dimitris Bertsimas, Vassilis Digalakis Jr, Yu Ma, Phevos Paschalidis
发布日期: 2/5/2025
arXiv ID: 2403.19871

摘要

arXiv:2403.19871v5 更新类型: replace-cross 摘要:我们考虑在新数据批次可用时重训练机器学习(ML)模型的问题。现有方法在每个批次上单独优化预测能力,而不考虑模型结构的稳定性或重训练迭代过程中的分析洞察。我们提出了一种模型通用框架,用于找到在重训练迭代过程中稳定的模型序列。我们开发了一种混合整数优化模型,保证能够恢复 Pareto 最优模型(按预测能力-稳定性权衡而言),并具有良好的泛化性能;同时提出了一种高效的多项式时间算法,实际表现良好。我们在保持一致的分析洞察方面进行了重点考虑,这对于模型可解释性、实现的简便性和增强用户的信任是重要的,我们通过自定义定义的距离度量将这些洞察直接融入优化问题中。我们跨多个模型(回归、决策树、提升树和神经网络)和应用领域(医疗保健、视觉和语言)评估了该框架,包括在一家大型美国医院的生产管道中的部署。我们发现,平均而言,预测能力减少2%可以使稳定性提升30%。