arXiv:2502.12953v1 交叉公告类型 摘要：掩码语言模型已成为一种广泛采用的无监督技术，用于预训练语言模型。然而，选择用于掩码的标记过程是随机的，掩码标记的比例在整个训练过程中通常是固定不变的。在本文中，我们提出调整掩码比例，并根据新型任务导向的反课程学习方案来决定哪些标记需要被掩码。首先，我们利用任务特定的知识来确定哪些标记是有利的和有害的，以便决定哪些标记需要被掩码。其次，我们提出了一种循环衰减的掩码比例，这对应于一个反课程学习计划（从难到易）。我们通过情感分析、基于主题的文本分类和作者归属三个不同下游任务的掩码（TIACBM）方法来举例说明我们的新型任务导向的反课程学习方案。我们的发现表明，TIACBM 提高了模型专注于关键任务相关特征的能力，从而在各个任务上带来了统计上显著的性能提升。我们已在 https://github.com/JarcaAndrei/TIACBM 发布了我们的代码。