arXiv:2502.13181v1 Announce Type: cross 摘要：Transformer已成功应用于有效处理诸如文本等序列数据。其架构由多个注意力和前馈层组成，可以以并行方式建模序列中元素之间的关系，这使得它们在训练和序列建模方面非常高效。尽管它们在处理序列数据方面表现强大，但与基于RNN和CNN的其他架构相比，其参数量显著更大。因此，已经探索了Transformer模型中的参数共享和递归，以应对其计算需求。然而，这些方法在性能上难以与原始Transformer模型保持一致。为此，我们提出了一种新颖的方法——RingFormer，该方法利用一个Transformer层，以环形、循环的方式重复处理输入，并利用低秩矩阵生成输入相关的信号。这使我们在翻译和图像分类等多种任务中能够显著减少模型参数量，同时保持高性能，这一点在实验中得到了验证。