LLM2D
模型聚合:最小化经验方差优于最小化经验误差
Model aggregation: minimizing empirical variance outperforms minimizing empirical error
作者: Th\'eo Bourdais, Houman Owhadi
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2409.17267v1

摘要

无论是确定性模型还是随机性模型,都可以被视为旨在逼近特定感兴趣量的函数。我们提出了一种数据驱动的框架,该框架将来自不同模型的预测聚合到一个更准确的输出中。这种聚合方法利用每个模型的优势来提高整体精度。它是非侵入式的,将模型视为黑盒函数,与模型无关,需要最少的假设,并且可以组合来自各种模型的输出,包括来自机器学习和数值求解器的模型。我们认为聚合过程应该是逐点线性的,并提出了两种方法来找到最佳聚合:最小误差聚合(MEA),它最小化聚合的预测误差,以及最小方差聚合(MVA),它最小化其方差。虽然 MEA 在模型与目标量之间的相关性完全已知的情况下天生更准确,但最小经验方差聚合(MEVA)——MVA 的经验版本——始终优于最小经验误差聚合(MEEA),即 MEA 的经验对应物,当这些相关性必须从数据中估计时。关键区别在于 MEVA 通过估计模型误差来构建聚合,而 MEEA 将模型视为直接插值感兴趣量的特征。这使得 MEEA 更容易过度拟合和泛化不良,其中聚合在测试期间可能会比单个模型表现更差。我们在各种应用中展示了我们框架的多功能性和有效性,例如数据科学和偏微分方程,展示了它如何成功地将传统求解器与机器学习模型相结合,以提高鲁棒性和准确性。