LLM2D
从不可约表示的角度重新审视多重置换等变性
Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations
作者: Yonatan Sverdlov, Ido Springer, Nadav Dym
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06665v1

摘要

本文探讨了用于排列和相关群表示的等变线性层的特征。与传统的参数共享方法不同,我们考虑了一种基于不可约表示和舒尔引理的替代方法。利用这种方法,我们获得了对现有模型(如 DeepSets、2-IGN 图等变网络和 Deep Weight Space (DWS) 网络)的另一种推导。DWS 网络的推导比以前的结果要简单得多。 接下来,我们将方法扩展到未对齐的对称集,其中需要对群的环状积进行等变。以前的工作在相当有限的设置中解决了这个问题,其中几乎所有环状等变层都是连体层。相反,我们在这种情况下给出了层的完整特征,并表明在某些设置中存在大量额外的非连体层。我们还从经验上表明,这些额外的非连体层可以提高图异常检测、权重空间对齐和学习 Wasserstein 距离等任务的性能。我们的代码可在 \href{https://github.com/yonatansverdlov/Irreducible-Representations-of-Deep-Weight-Spaces}{GitHub} 上找到。