摘要
arXiv:2502.00465v1 交叉公告类型:交叉
摘要:斜决策树(ODT)通过线性投影来划分特征空间,与传统的决策树(DT)强制轴平行分割不同。ODT 已 proven 具有比 DT 更强的表现能力,因为它提供了一种创建更浅树结构的方法,同时仍然能够逼近复杂决策边界。然而,其学习效率仍然不足,因为线性投影无法传递到子节点,导致模型参数出现浪费。在本文中,我们提出了一种增强的 ODT 方法,名为特征拼接(Feature Concatenation, \texttt{FC-ODT}),这使得在模型内部的特征转换能够沿决策路径传递投影。理论上,我们证明了我们的方法在树深度方面享有更快的一致性率,表明我们的方法在泛化性能方面具有显著优势,特别是在浅树方面。实验结果表明,与其它最新的决策树方法相比,\texttt{FC-ODT} 在有限的树深度下可以表现出更好的性能。