摘要
arXiv:2502.01706v1 宣告类型: cross
摘要:受生物启发的神经网络提供了建模数据分布的替代途径。FlyVec是最近的一个例子,它从果蝇的嗅觉电路中汲取灵感,用于学习词嵌入任务。令人惊讶的是,这个模型即使面对专门设计用于编码文本的深度学习方法,也能表现出色,并且以最大的计算效率实现这一目标。我们提出了一个问题,即这种性能是否可以进一步提高。为此,我们引入了Comply。通过引入位置信息并通过复数权重,我们使单层神经网络能够学习序列表示。我们的实验表明,Comply不仅超越了FlyVec,而且在性能上与显著更大的最新模型相当。我们在此过程中没有增加参数。Comply生成了可从神经元权重明确解释的稀疏句境表示。