摘要
对比学习已成为深度学习中的一种强大方法,通过对比来自不同分布的样本,在学习有效表示方面表现出色。然而,神经坍缩,即嵌入收敛到一个低维空间,是一个重大的挑战,尤其是在半监督和自监督设置中。在本文中,我们首先从理论上分析了大学习率对仅依赖余弦相似度度量的对比损失的影响,并推导出一个理论界限来减轻这种坍缩。{基于这些见解,我们提出了 CLOP,一种新颖的半监督损失函数,旨在通过促进类嵌入之间形成正交线性子空间来防止神经坍缩。}与之前强制执行单纯形 ETF 结构的方法不同,CLOP 专注于子空间分离,从而导致更具区分度的嵌入。通过对真实和合成数据集的大量实验,我们证明了 CLOP 增强了性能,在不同的学习率和批次大小下提供了更高的稳定性。