LLM2D
通过特征 concatenation 提高斜向决策树的学习效率
Enhance Learning Efficiency of Oblique Decision Tree via Feature Concatenation
作者: Shen-Huan Lyu, Yi-Xiao He, Yanyan Wang, Zhihao Qu, Bin Tang, Baoliu Ye
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.00465v1

摘要

arXiv:2502.00465v1 交叉公告类型:交叉 摘要:斜决策树(ODT)通过线性投影来划分特征空间,与传统的决策树(DT)强制轴平行分割不同。ODT 已 proven 具有比 DT 更强的表现能力,因为它提供了一种创建更浅树结构的方法,同时仍然能够逼近复杂决策边界。然而,其学习效率仍然不足,因为线性投影无法传递到子节点,导致模型参数出现浪费。在本文中,我们提出了一种增强的 ODT 方法,名为特征拼接(Feature Concatenation, \texttt{FC-ODT}),这使得在模型内部的特征转换能够沿决策路径传递投影。理论上,我们证明了我们的方法在树深度方面享有更快的一致性率,表明我们的方法在泛化性能方面具有显著优势,特别是在浅树方面。实验结果表明,与其它最新的决策树方法相比,\texttt{FC-ODT} 在有限的树深度下可以表现出更好的性能。