LLM2D
TabKANet:基于Kolmogorov-Arnold网络和Transformer的表格数据建模
TabKANet: Tabular Data Modeling with Kolmogorov-Arnold Network and Transformer
作者: Weihao Gao, Zheng Gong, Zhuo Deng, Fuju Rong, Chucheng Chen, Lan Ma
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2409.08806v2

摘要

表格数据是现实生活中最常见的类型。本研究针对从数值内容中学习的瓶颈,提出了用于表格数据建模的 TabKANet 模型。我们构建了一个基于 Kolmogorov-Arnold 网络 (KAN) 的数值嵌入模块,并在 Transformer 架构中统一了数值和分类特征编码。与神经网络 (NN) 相比,TabKANet 在二元分类、多类分类和回归任务中表现出稳定且显著优越的性能,在多个公共数据集上都取得了优异的结果。其性能与梯度提升决策树模型 (GBDT) 相当或超过了 GBDT。我们的代码已在 GitHub 上公开发布:https://github.com/AI-thpremed/TabKANet。