LLM2D
协方差矩阵和Hessian矩阵的协同特征分析用于增强二元分类
Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification
作者: Agus Hartoyo, Jan Argasi\'nski, Aleksandra Trenk, Kinga Przybylska, Anna B{\l}asiak, Alessandro Crimi
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2402.09281v3

摘要

协方差矩阵和Hessian矩阵在文献中被分别用于分析分类问题。然而,整合这两种矩阵有可能增强其组合能力,从而提高分类性能。我们提出了一种新方法,该方法结合了在训练集上评估的协方差矩阵的特征分析和在深度学习模型上评估的Hessian矩阵,以实现二元分类任务中的最优类可分性。我们的方法得到了形式化证明的支持,这些证明确立了其最大化类间均值距离(“分离”的概念)和最小化类内方差(“紧凑性”的概念)的能力,这两者共同定义了线性判别分析(LDA)的两个标准,尤其是在理想数据条件下,例如围绕类均值的各向同性和主要的领先特征值。通过将数据投影到来自这两个矩阵的最相关特征方向的组合空间中,我们根据这些LDA标准实现了最优类可分性。在神经和健康数据集上的实证验证一致地支持我们的理论框架,并证明我们的方法优于已建立的方法。我们的方法通过同时解决分离和紧凑性标准而脱颖而出,这与主要强调每个标准的一种的PCA和Hessian方法不同。这种综合方法捕捉了复杂的模式和关系,从而增强了分类性能。此外,通过利用两个LDA标准,我们的方法通过利用更高维的特征空间优于LDA本身,这符合Cover定理,该定理有利于在更高维度上的线性可分性。此外,我们的方法阐明了复杂的DNN决策过程,使其在二维空间内变得易于理解。