LLM2D
参数化对降维影响的探究
Navigating the Effect of Parametrization for Dimensionality Reduction
作者: Haiyang Huang, Yingfan Wang, Cynthia Rudin
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15894v1

摘要

参数化降维方法因其能够泛化到未见数据集的能力而日益突出,这是传统方法通常缺乏的优势。尽管它们越来越受欢迎,但实践者之间普遍存在一种误解,即参数化方法和非参数化方法的性能等效。在这里,我们证明了这些方法并不等效——参数化方法保留了全局结构,但丢失了大量的局部细节。为了解释这一点,我们提供的证据表明参数化方法缺乏排斥负样本对的能力,并且损失函数的选择也会产生影响。为了解决这些问题,我们开发了一种新的参数化方法 ParamRepulsor,它结合了硬负例挖掘和一个施加强大排斥力的损失函数。这种新方法在参数化方法的局部结构保持方面取得了最先进的性能,同时没有牺牲全局结构表示的保真度。我们的代码可在 https://github.com/hyhuang00/ParamRepulsor 获取。