arXiv:2504.13975v1 Announce Type: 交叉 摘要：多层感知器（MLP），或完全连接的人工神经网络，以可学习的权重矩阵执行向量-矩阵乘法；然而，由于每一层输入-输出对的高维度性，它们在许多机器学习任务中的实际应用，特别是在计算机视觉领域，可能会受到限制。为了提高效率，已经利用卷积操作来促进权重共享和局部连接，但它们受制于有限的感受野。在本文中，我们引入了多尺度张量求和（MTS）因子化，这是一种新颖的神经网络算子，实现了多尺度的张量求和，其中每个要求和的张量通过类似于Tucker分解的方式获得。与文献中其他张量分解方法不同，MTS并不是作为一种网络压缩工具引入的，而是作为一种新的骨干神经层。MTS不仅减少了所需参数的数量，而且与传统的密集层（即MLP层中的未分解权重矩阵）相比，在权重优化的效率方面也有所提高，而且还优于卷积层。提出的MTS网络与MLP和卷积神经网络（CNN）的概念验证实验比较表明，它们在各种任务（如分类、压缩和信号恢复）中展现了有效性。此外，当与本研究中引入的多头门（MHG）等现代非线性单元集成时，相应的神经网络MTSNet在各种计算机视觉应用中的复杂性-性能折中比最先进的变压器更为有利。MTS层及其相应的MTS基网络MTSNets的软件实现可在https://github.com/mehmetyamac/MTSNet上获取。