LLM2D
关于深度神经网络学习符号交互的动力学研究
Towards the Dynamics of a DNN Learning Symbolic Interactions
作者: Qihan Ren, Junpeng Zhang, Yang Xu, Yue Xin, Dongrui Liu, Quanshi Zhang
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2407.19198v2

摘要

本研究证明了深度神经网络 (DNN) 学习交互作用的两阶段动力学。尽管长期以来人们对 DNN 事后解释的忠实性持悲观态度,但近年来已证明一系列定理表明,对于给定的输入样本,输入变量之间的一小部分交互作用可以被视为原始推理模式,这些模式忠实地代表了 DNN 对该样本的详细推理逻辑。特别是,张等人观察到各种 DNN 都在两个不同的阶段学习不同复杂性的交互作用,而这种两阶段动力学很好地解释了 DNN 如何从欠拟合转变为过拟合。因此,在本研究中,我们从数学上证明了交互作用的两阶段动力学,为 DNN 的泛化能力在训练过程中如何变化提供了一个理论机制。实验表明,我们的理论很好地预测了不同 DNN 在各种任务训练中交互作用的实际动力学。