arXiv:2505.02366v2 宣布类型: replace-cross 摘要：无监督对比学习已成为自然语言处理领域的热点研究话题。现有工作通常旨在约束正样本和负样本在高维语义空间中表示的取向分布，但语义表示张量同时具备模和取向特征，现有工作忽略了表示的模特征，导致对比学习效果不足。因此，我们首先提出了一种训练目标，旨在对语义表示张量施加模约束，以增强对比学习中正样本之间的对齐。此外，BERT 类模型会遭受注意力下沉的现象，导致对聚合语义信息的[CLS]标记关注不足。为应对这一问题，我们提出了一种双塔ensemble模型之间的交叉注意力结构，以增强模型对[CLS]标记的注意力并优化[CLS]池化质量。结合上述两个动机，我们提出了一个新的 **J**oint **T**ensor representation模约束和 **C**ross-attention无监督对比学习 **S**entence **E**mbedding框架 JTCSE，在七个语义文本相似性计算任务中进行了评估，实验结果显示 JTCSE 的双塔ensemble模型和单塔蒸馏模型优于其他基线，并已成为当前SOTA。此外，我们还进行了广泛的零样本下游任务评估，结果显示 JTCSE 在超过130个任务中整体表现优于其他基线。