LLM2D
基于等变表示的对比学习
Contrastive Learning Via Equivariant Representation
作者: Sifan Song, Jinfeng Wang, Qiaochu Zhao, Xiang Li, Dufan Wu, Angelos Stefanidis, Jionglong Su, S. Kevin Zhou, Quanzheng Li
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2406.00262v2

摘要

不变对比学习 (ICL) 方法在各个领域都取得了令人印象深刻的性能。然而,在潜在空间中缺乏与失真(增强)相关信息的潜在空间表示,使得 ICL 在下游任务的训练效率和鲁棒性方面表现不佳。最近的研究表明,在对比学习 (CL) 中引入等变性可以提高整体性能。在本文中,我们重新审视了增强策略和等变性在提高 CL 效率方面的作用。我们提出了 CLeVER(通过等变表示的对比学习),这是一个新颖的等变对比学习框架,兼容各种主流 CL 主干模型的任意复杂度的增强策略。实验结果表明,CLeVER 有效地从实际自然图像中提取并整合了等变信息,从而提高了下游任务中基线模型的训练效率和鲁棒性,并取得了最先进 (SOTA) 的性能。此外,我们发现利用 CLeVER 提取的等变信息可以同时增强实验任务中的旋转不变性和敏感性,并在处理复杂增强时帮助稳定框架,特别是对于具有小型主干的模型。