摘要
arXiv:2505.10331v1 类型: cross
摘要:在数据科学和机器学习的众多应用中,随机性无所不在。令人惊讶的是,由随机组件组成的系统往往会表现出涌现的全局行为,这些行为看似确定,表现出从微观尺度的无序到宏观尺度的有序的转变。在这项工作中,我们引入了一个理论模型来研究随机分类器集合中集体行为的出现。我们argue(认为)如果通过采用分类损失作为能量的吉布斯度量对集合进行加权,那么该分布存在一个有限的温度参数,使得分类相对于损失(或者能量)是最佳的。有趣的是,在样本由高斯分布生成且标签通过使用教师感知器构建的情况下,我们通过分析证明并通过数值验证了这种最优温度既不依赖于教师分类器(由于学习问题的构造,它是未知的),也不依赖于随机分类器的数量,突显了观察到的行为的普适性。MNIST数据集上的实验强调了这种现象在高质量、无噪声数据集中的重要性。最后,一个物理类比使我们能够揭示所研究现象的自我组织性质。