摘要
错误纠正码 (ECC) 在通信系统中确保可靠信息传输至关重要。Choukroun 和 Wolf (2022b) 最近推出了错误纠正码 Transformer (ECCT),该模型在各种传输信道和编码家族中展现出令人鼓舞的性能。然而,与传统的解码算法相比,其高计算量和内存需求限制了其实际应用。由于 ECCT 本身结构小巧,因此实现有效的量化面临着重大挑战,因为现有的超低精度量化技术往往会导致紧凑型神经网络的性能下降。在本文中,我们提出了一种用于基于 Transformer 的解码器的新型加速方法。我们首先提出了一种专门针对 ECCT 的三值权重量化方法,它能生成一个没有乘法的线性层解码器。我们提出了一种优化的自注意力机制,通过代码感知的多头处理来降低计算复杂度。最后,我们通过 Tanner 图特征分解提供位置编码,从而实现更丰富的图连接表示。该方法不仅匹配或超越了 ECCT 的性能,而且还显著降低了能耗、内存占用和计算复杂度。我们的方法使基于 Transformer 的错误纠正更接近在资源受限环境中的实际应用,实现了 90% 的压缩率,并且在现代硬件上将算术运算能耗降低了至少 224 倍。