摘要
arXiv:2502.14047v1 交叉公告类型
摘要:近年来,有论点认为随着AI模型规模和性能的提升,其表示正变得逐渐一致。设计了实证分析来支持这一观点,并猜测不同的表示将朝向一个共同的现实统计模型趋同。在本文中,我们提出了一种学习理论视角来研究表示一致性。首先,我们回顾并连接了基于度量、概率和谱的想法下的不同一致性观念。然后,我们专注于缝合方法,这是一种理解任务背景下不同表示相互作用的特定方法。我们的主要贡献在于将缝合的性质与底层表示的核一致性联系起来。我们的结果可以被视为将表示一致性转化为学习理论问题的第一步。