LLM2D
什么是好的前向计算图?
What makes a good feedforward computational graph?
作者: Alex Vitvitskyi, Jo\~ao G. M. Ara\'ujo, Marc Lackenby, Petar Veli\v{c}kovi\'c
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2502.06751v1

摘要

arXiv:2502.06751v1 交叉类型公布 摘要:正如大量关于图重布的研究文献所暗示的那样,神经网络所采用的计算图的选择对其下游性能可以产生显著影响。计算图相关的某些效应,如未能充分扩展和过度挤压,甚至可能使模型无法学习某些函数。这些效应大多数仅在无向图的领域中进行了详尽的研究;然而,在过去几年中,对反馈型计算图——没有回边的有向图——的兴趣显著增加。在本文中,我们研究了反馈型计算图的可取性质,发现了两种重要的互补度量:保真度和混合时间,并通过这些度量来评估几种流行的图选择。我们的研究基于对各种图的度量的渐近行为进行的理论分析,以及将这些度量与使用相应图训练的神经网络模型的性能联系起来。