arXiv:2504.16929v1 交叉公告类型 摘要：随着表示学习领域的不断发展，出现了多种用于解决不同类型问题的不同损失函数。我们介绍了一个单一的信息论方程，它泛化了机器学习中许多现代损失函数。特别是，我们引入了一个框架，展示了多种机器学习方法实际上是在精确地最小化两个条件分布之间的集成KL散度：监督表示和学习表示。这种观点揭示了聚类、谱方法、降维、对比学习和监督学习背后的隐藏信息几何。该框架通过结合文献中成功的各种技术来开发新的损失函数。我们不仅呈现了广泛的证明，连接了超过23种不同的方法，还利用这些理论结果创建了在ImageNet-1K的无监督分类中比之前最先进的方法高出8%的新颖的无监督图像分类器。此外，我们展示了I-Con可以用于推导出原理性的去偏方法，以改进对比性表示学习者。