arXiv:2502.00047v2 宣布类型: 替换-交叉 摘要：神经网络中的二值和稀疏三值权重可以实现更快的计算和更轻量的表现形式，从而使其能够在计算能力有限的边缘设备上使用。与此同时，传统的RNNs对其循环权重的变化非常敏感，这使这些权重的二值化和三值化变得固有地具有挑战性。到目前为止，还没有方法成功实现了传统RNN权重的二值化或三值化。我们提出了一种新的方法，利用Hadamard矩阵的特性，对二值和稀疏三值正交矩阵的一个子集进行参数化。这种方法使得能够训练出具有二值和稀疏三值循环权重的正交RNN（ORNN），有效地创建了一类特定的二值和稀疏三值传统RNN。这些ORNN，称为HadamRNN和lock-HadamRNN，在类似的拷贝任务、 permuted和顺序MNIST任务以及IMDB数据集中进行了评估。尽管进行了二值化或稀疏三值化，这些RNN在性能水平上仍与最先进的全精度模型相当，突显了我们方法的有效性。值得注意的是，我们的方法是第一个能够处理超过1000个时间步长拷贝任务的具有二值循环权重的解决方案。