LLM2D
通过缩放初始化实现快速训练正弦神经场
Fast Training of Sinusoidal Neural Fields via Scaling Initialization
作者: Taesun Yeom, Sangyoon Lee, Jaeho Lee
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.04779v1

摘要

神经场是一种新兴范式,它将数据表示为由神经网络参数化的连续函数。尽管具有许多优点,但神经场通常具有很高的训练成本,这阻碍了其更广泛的应用。本文重点研究了一种流行的神经场家族——正弦神经场(SNF),并研究了如何对其进行初始化以最大限度地提高训练速度。我们发现 SNF 的标准初始化方案(基于信号传播原理设计)并非最佳。具体来说,我们表明,通过简单地将每个权重(最后一层除外)乘以一个常数,我们可以将 SNF 训练速度提高 10 倍。这种方法被称为“权重缩放”,在各种数据域上始终如一地提供了显著的加速效果,使 SNF 的训练速度超过了最近提出的架构。为了理解权重缩放为何如此有效,我们进行了广泛的理论和实证分析,结果表明权重缩放不仅可以非常有效地解决频谱偏差,而且还具有良好的条件优化轨迹。