LLM2D
神经网络初始化的主成分分析
Principal Components for Neural Network Initialization
作者: Nhan Phan, Thu Nguyen, P{\aa}l Halvorsen, Michael A. Riegler
发布日期: 2/3/2025
arXiv ID: oai:arXiv.org:2501.19114v1

摘要

arXiv:2501.19114v1 论文类型: 横向 摘要: 主成分分析(PCA)是一种常用的降维和去噪工具,因此在训练神经网络之前的数据预处理中也广泛使用。然而,这种方法会增加解释可解释人工智能(XAI)方法解释模型决策的复杂性。在本文中,我们分析了这种方法的潜在问题,并提出了一种基于主成分的初始化策略(PCsInit),即通过将神经网络的第一层初始化为主成分来将PCA整合到网络的第一层,并提出了其两个变体PCsInit-Act和PCsInit-Sub。使用这些策略的解释与神经网络本身一样直接和直观,比在训练神经网络之前对主成分进行PCA预处理更为简单。此外,如实验中将展示的,这种训练策略还可以通过反向传播进一步提高训练效果。