LLM2D
Home
Arxiv
返回列表
关于无限深度ResNets的归纳偏见及其瓶颈秩
On the inductive bias of infinite-depth ResNets and the bottleneck rank
作者:
Enric Boix-Adsera
发布日期:
2/3/2025
arXiv ID:
oai:arXiv.org:2501.19149v1
摘要
arXiv:2501.19149v1 交叉类型: 摘要: 我们计算了深线性ResNet的最小范数权重,并发现此架构的归纳偏置位于最小核范数和最小秩之间。这表明,适当调整超参数后,深非线性ResNet的归纳偏置倾向于最小化瓶颈秩。
查看原文
下载 PDF