LLM2D
具有因果保证的高效模型评估计算框架
A Computational Framework for Efficient Model Evaluation with Causal Guarantees
作者: Hedong Yan
发布日期: 4/17/2025
arXiv ID: oai:arXiv.org:2503.21138v2

摘要

arXiv:2503.21138v2 宣布类型: 替换 摘要: 为了降低模型实验评估的成本,我们引入了一种预测和决策模型的计算评估理论:构建评估模型以加速评估过程。我们证明了给定评估模型的泛化错误和泛化因果效应错误的上界。我们还证明了所估计因果效应与部署后的评估指标之间的一致性和效率。为了学习评估模型,我们提出了一种元学习器来处理异构评估主题空间问题。与现有的评估方法相比,我们的(条件)评估模型在12个场景中(包括个体药物、科学模拟、社会实验、商业活动和量子交易)减少了24.1%-99.0%的评估误差,评估时间比实验或模拟减少了3到7个数量级。