LLM2D
神经网络简化程度评估:超参数配置对复杂度和敏感性的影响
Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.16086v1

摘要

本文通过实验研究,旨在理解不同超参数配置下神经网络的简化特性,特别关注其对 Lempel Ziv 复杂度和敏感性的影响。通过调整激活函数、隐藏层和学习率等关键超参数,该研究评估了这些参数如何影响网络输出的复杂度及其对输入扰动的鲁棒性。实验使用 MNIST 数据集进行,旨在深入了解超参数、复杂度和敏感性之间的关系,从而加深对神经网络中这些概念的理论理解。