arXiv:2504.16140v1 Announce Type: 跨领域 摘要：联合嵌入预测架构（JEPA）已成为学习通用表示的强大框架。然而，这些模型往往缺乏可解释性，并且由于密集嵌入表示而导致效率低下。我们提出了SparseJEPA，这是一种将稀疏表示学习整合到JEPA框架中的扩展，以增强学习到的表示的质量。SparseJEPA 使用一种惩罚方法，该方法鼓励潜在空间变量在具有强烈语义关系的数据特征之间共享，同时保持预测性能。通过在CIFAR-100数据集上进行训练以及预训练轻量级的Vision Transformer，我们展示了SparseJEPA的有效性。改进后的嵌入在图像分类和低级任务的线性探测迁移学习中被利用，展示了该架构在不同迁移任务中的灵活性。此外，我们提供了一个理论证明，证明了分组机制能够提高表示质量。这包括证明分组减少了潜在变量之间的多信息量，并通过证明多信息量的数据处理不等式来进行这一证明。我们的结果显示，引入稀疏性不仅细化了潜在空间，还促进了学习到更具有意义和可解释的表示。在进一步的工作中，我们希望通过基于对象的表示学习来探索利用分组机制的新方法。