arXiv:2502.02717v1 交叉类型：cross 摘要：基础模型已成为深度学习领域的一种强大范式，借助其从大规模数据集中学习稳健表示的能力，并有效应用于各类下游应用程序，如分类。本文介绍了Astromer 2，这是一种专门用于提取光曲线嵌入的基础模型。我们引入Astromer 2作为我们用于光曲线分析的自我监督模型的增强版本。本文突出了其预训练嵌入的优势，将其性能与其前身Astromer 1进行了比较，并提供了其能力的详细实证分析，提供了模型表示的更深层次洞察。Astromer 2基于MACHO调查中的150万单带光曲线进行预训练，使用一个自我监督学习任务，该任务预测序列中的随机掩蔽观察值。通过对一个较小的标注数据集进行微调，我们可以评估其在分类任务中的性能。嵌入的质量通过在Astromer生成的嵌入上训练的MLP分类器的F1分数来衡量。我们的结果表明，Astromer 2在所有评估场景中均显著优于Astromer 1，包括每类20、100和500个样本的有限数据集。使用集成自Astromer注意力块的中间表示的加权样本嵌入特别具有影响性。值得注意的是，与先前模型相比，Astromer 2在ATLAS数据集上的F1分数提高了15%，展示了其对新数据集的强大泛化能力。这种增强的性能，特别是在少量标注数据的情况下，突显了Astromer 2在更高效的光曲线分析中的潜力。