arXiv:2411.10087v3 公告类型: replace-cross 摘要：自监督学习（SSL）是一种以数据内在结构为指导的数据驱动的学习方法。与依赖外部标签的监督学习不同，SSL 使用数据本身的固有特性来生成其自身的监督信号。然而，SSL 方法的一个常见问题是表示崩溃，即模型输出一个不变的输入特征表示。这一问题妨碍了 SSL 方法在新数据模态中的潜在应用，因为它寻求避免表示崩溃浪费了研究者们的时间和精力。本文介绍了一种名为 Masked Latents from Predicted Functionals（PFML）的新颖 SSL 算法，用于时间序列数据。PFML 不直接预测被遮掩的输入信号或其潜在表示，而是通过给定未遮掩的潜在表示序列来预测输入信号对应的被遮掩嵌入的统计函数。该算法旨在避免表示崩溃，使其可以直接应用于不同的时间序列数据领域，例如临床数据中新的传感器模态。我们通过三种不同数据模态的复杂现实分类任务展示了 PFML 的有效性：从多传感器惯性测量单元数据中分类婴儿的姿态和动作，从语音数据中识别情绪，从 EEG 数据中分类睡眠阶段。结果表明，PFML 在概念上优于另一种类似的概念 SSL 方法，同时也优于基于对比学习的 SSL 方法。此外，PFML 与当前最先进的 SSL 方法相当，但更具概念上的简洁性，且不会受到表示崩溃的影响。