摘要
arXiv:2502.06751v1 交叉类型公布
摘要:正如大量关于图重布的研究文献所暗示的那样,神经网络所采用的计算图的选择对其下游性能可以产生显著影响。计算图相关的某些效应,如未能充分扩展和过度挤压,甚至可能使模型无法学习某些函数。这些效应大多数仅在无向图的领域中进行了详尽的研究;然而,在过去几年中,对反馈型计算图——没有回边的有向图——的兴趣显著增加。在本文中,我们研究了反馈型计算图的可取性质,发现了两种重要的互补度量:保真度和混合时间,并通过这些度量来评估几种流行的图选择。我们的研究基于对各种图的度量的渐近行为进行的理论分析,以及将这些度量与使用相应图训练的神经网络模型的性能联系起来。