LLM2D
通过多源元学习实现文本分类的未见领域泛化学习
Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.13787v1

摘要

随着深度学习方法的快速发展,文本分类领域取得了许多突破。针对这一任务开发的模型已显示出高准确率。然而,大多数这些模型都是使用来自已知领域的标记数据进行训练的。这些模型在新颖且具有挑战性的未知领域中难以保持高准确率,这直接关系到模型的泛化能力。本文研究了文本分类的多源领域泛化问题,并提出了一种利用多个已知领域训练模型以在未知领域中实现高准确率的框架。具体而言,我们提出了一种多源元学习领域泛化框架,以模拟模型对未知领域的泛化过程,从而提取足够的领域相关特征。我们引入了一种记忆机制来存储领域特定特征,并与元学习框架协同工作。此外,我们采用了新颖的“陪审团”机制,使模型能够学习足够的领域不变特征。实验表明,我们的元学习框架能够有效增强模型对未知领域的泛化能力,并在多源文本分类数据集上优于最先进的方法。