LLM2D
少样本文本分类中的手动词汇增强
Manual Verbalizer Enrichment for Few-Shot Text Classification
作者: Quang Anh Nguyen, Nadi Tomeh, Mustapha Lebbah, Thierry Charnois, Hanene Azzag, Santiago Cordoba Mu\~noz
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06173v1

摘要

随着预训练语言模型的不断发展,基于提示的训练成为一种广泛采用的范式,它极大地提高了模型在许多自然语言处理任务中的利用率。在零样本或少样本场景中,当标注数据数量有限时,提示方法也展现出比传统微调方法更好的性能。在这个框架中,解释器起着至关重要的作用,它将掩码词分布解释为输出预测。在这项工作中,我们提出了\acrshort{mave},一种通过在词嵌入空间中使用邻域关系来丰富类别标签以构建解释器的文本分类方法。此外,我们详细阐述了一个基准测试程序,用于评估少样本学习环境下文档分类的典型解释器基线。我们的模型在使用明显更少资源的情况下,实现了最先进的结果。我们证明了我们的方法在监督数据极其有限的情况下特别有效。