LLM2D
超参数重要性中的Shapley值和交互作用
HyperSHAP: Shapley Values and Interactions for Hyperparameter Importance
作者: Marcel Wever, Maximilian Muschalik, Fabian Fumagalli, Marius Lindauer
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01276v1

摘要

arXiv:2502.01276v1 宣告类型: cross 摘要: 超参数优化(HPO)是实现强预测性能的关键步骤。然而,单个超参数对模型泛化能力的影响高度依赖于上下文,这禁止了一刀切的解决方案,并要求不透明的自动化机器学习(AutoML)系统找到最佳配置。大多数AutoML系统的黑盒性质消除了用户信任,并阻碍了其采用。为了解决这一问题,我们提出了一种基于Shapley值和交互的博弈论可解释性框架,用于HPO。我们的方法提供了性能指标在超参数之间的加性分解,使得可以进行局部和全局的超参数重要性和交互的解释。该框架,称为HyperSHAP,提供了关于消除、学习算法的可调性和优化器行为在不同超参数空间中的见解。我们通过对HPO问题的交互结构进行分析,对HyperSHAP进行了各种HPO基准测试的评估。我们的结果显示,虽然存在高阶交互,但大多数性能改进可以通过关注较低阶的表示来解释。