基于数值流形方法原理，我们开发了神经网络流形的数学框架：深度流形，并发现神经网络：1）是结合正向和逆向的数值计算；2）具有近乎无限的自由度；3）随着深度呈指数级增长学习能力；4）具有自进化的边界条件；5）具有训练隐藏瓶颈。我们还定义了两个概念：神经网络学习空间和深度流形空间，并引入了两个概念：神经网络内在路径和不动点。我们提出了三个基本问题：1）训练完成的定义是什么；2）深度学习的收敛点（神经网络不动点）在哪里；3）在逆问题中负时间至关重要的情况下，训练数据中的令牌时间戳有多重要。