LLM2D
递归KL散度优化:一种动态的表示学习框架
Recursive KL Divergence Optimization: A Dynamic Framework for Representation Learning
作者: Anthony D Martin
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.21707v1

摘要

arXiv:2504.21707v1 交叉类型 摘要:我们通过将现代表示学习目标重新定义为局部条件分布之间的递归发散对齐过程,提出了现代表示学习目标的一般化。尽管最近的框架如信息对比学习I-Con通过固定邻域条件间的KL散度统一了多种学习范式,我们认为这种观点忽视了学习过程中固有的关键递归结构。我们提出了递归KL散度优化(RKDO)这一动态形式,其中表示学习被框架为KL散度在数据邻域间演化的过程。这种表述捕捉了对比聚类和降维方法的静态切片,同时提供了一条新的模型稳定性和局部适应性路径。我们的实验表明,与静态方法相比,RKDO在三个不同数据集上损失值约低30%,在实现相近结果所需计算资源方面最多减少60%到80%。这表明RKDO的递归更新机制为表示学习提供了更高效的优化景观,对资源受限的应用具有重要意义。