LLM2D
生成模型表示的正交性度量
Measuring Orthogonality in Representations of Generative Models
作者: Robin C. Geyer, Alessandro Torcinovich, Jo\~ao B. Carvalho, Alexander Meyer, Joachim M. Buhmann
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2407.03728v2

摘要

在无监督表征学习中,模型旨在从高维数据中提取基本特征,并将其提炼成低维的学习表征,这由归纳偏差引导。理解使表征良好的特征仍然是正在进行的研究课题。独立生成过程的解耦长期以来被认为可以产生高质量的表征。然而,仅仅关注满足大多数解耦度量严格要求的表征,可能会导致忽视许多适用于各种下游任务的高质量表征。这些度量通常要求生成因子被编码在与表征空间的规范基对齐的、独特的、单一维度中。 受这些观察结果的启发,我们提出了两种新的度量:重要性加权正交性(IWO)和重要性加权秩(IWR)。这些度量评估了生成因子子空间的互正交性和秩。在对多个基准数据集和模型进行的广泛下游任务实验中,IWO 和 IWR 与传统解耦度量相比,始终表现出与下游任务性能更强的相关性。我们的发现表明,表征质量与独立生成过程的正交性更相关,而不是它们的解耦,这为评估和改进无监督学习模型提供了新的方向。