LLM2D
具有单一激活函数的ODENet和ResNet的万能逼近性质
Universal approximation property of ODENet and ResNet with a single activation function
作者: Masato Kimura, Kazunori Matsui, Yosuke Mizuno
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16709v1

摘要

我们研究了ODENet和ResNet的泛函逼近性质。ODENet将微分方程系统在有限区间内的初值映射到最终值,被认为是ResNet型深度学习系统的数学模型。我们考虑由激活函数和仿射映射的单次复合给出的向量场的动力系统,这是实际机器学习系统中ODENet或ResNet向量场最常见的选择。我们证明了具有受限向量场的ODENet和ResNet可以一致逼近具有任意向量场的ODENet。