摘要
arXiv:2501.14346v2 宣布类型: 替换-交叉
摘要:构造适合从连续和离散表格数据中学习的神经网络架构是一项具有挑战性的研究任务。当前的高维表格数据集往往特征实例较少,需要高效的数据学习。我们提出了HorNets(Horn Networks),这是一种在合成和现实世界数据集上表现出色的神经网络架构,这些数据集来源于稀少数据的表格领域。HorNets 基于一种剪裁的多项式样激活函数,通过一个自定义的离散-连续路由机制扩展,该机制根据输入的基数决定优化神经网络的哪个部分。通过显式建模特征组合空间的一部分,或以类似线性注意力的方式结合整个空间,HorNets 动态地决定给定数据最适合的操作模式,无需显式的监督。该架构是少数几种可靠地检索逻辑子句(包括噪声XNOR)并取得最先进的分类性能的方法之一,这些方法适用于14个现实世界的生物医学高维数据集。HorNets 在一个宽松的许可证下免费提供,并配有用于生成分类基准的合成生成器。