arXiv:2502.12125v1 宣告类型: new 摘要: 我们通过研究类之间的层级关系在训练过程中如何演变来探讨深度分类器的训练动力学。通过大量的实验，我们认为分类问题中的学习过程可以通过标签聚类的角度来理解。具体来说，我们观察到网络在训练的早期阶段倾向于区分更高层次的（超类）类别，而在后期则学习更具体（子类）的类别。我们提出了一种新的框架来跟踪训练过程中特征流形的演变，揭示了类关系层次如何在网络层中逐渐出现并完善。我们的分析表明，学习到的表示与数据集的语义结构密切相关，提供了聚类过程的量化描述。值得注意的是，我们证明在超类标签空间中，某些神经崩溃的性质比在子类标签空间中出现得更早，这有助于弥合初始学习阶段与终端阶段之间的差距。我们认为，我们的发现为深入理解深度网络中的分层学习机制提供了新的见解，为未来进一步理解深度学习动力学开辟了道路。