LLM2D
一棵树能胜过整片森林吗?
Can a Single Tree Outperform an Entire Forest?
作者: Qiangqiang Mao, Yankai Cao
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2411.17003v1

摘要

普遍认为,单个决策树的测试精度不如经典的随机森林,尽管它在可解释性和轻量级结构方面具有优势。本研究通过我们基于梯度的整个树优化框架显著提高了斜回归树的测试精度,使其性能与经典的随机森林相当。我们的方法将树训练重新定义为一个可微分的无约束优化任务,采用了一种缩放的 sigmoid 近似策略。为了改善数值不稳定性,我们提出了一种算法方案,该方案求解一系列越来越精确的近似值。此外,还实施了一种子树优化策略,以减少在树中累积的近似误差。在 16 个数据集上的大量实验表明,我们优化的树在测试精度方面平均提高了 2.03%。