LLM2D
向量征理论的学习范式
Towards a Learning Theory of Representation Alignment
作者: Francesco Insulla, Shuo Huang, Lorenzo Rosasco
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2502.14047v1

摘要

arXiv:2502.14047v1 交叉公告类型 摘要:近年来,有论点认为随着AI模型规模和性能的提升,其表示正变得逐渐一致。设计了实证分析来支持这一观点,并猜测不同的表示将朝向一个共同的现实统计模型趋同。在本文中,我们提出了一种学习理论视角来研究表示一致性。首先,我们回顾并连接了基于度量、概率和谱的想法下的不同一致性观念。然后,我们专注于缝合方法,这是一种理解任务背景下不同表示相互作用的特定方法。我们的主要贡献在于将缝合的性质与底层表示的核一致性联系起来。我们的结果可以被视为将表示一致性转化为学习理论问题的第一步。