LLM2D
基于上下文的自适应调整以实现领域泛化
Context-Aware Self-Adaptation for Domain Generalization
作者: Hao Yan, Yuhong Guo
发布日期: 4/7/2025
arXiv ID: oai:arXiv.org:2504.03064v1

摘要

arXiv:2504.03064v1 宣告类型: cross 摘要:域泛化旨在开发适合在源训练域中进行学习的算法,使得模型能够在不同的未见过的测试域中表现出良好的泛化能力。我们提出了一种新颖的两阶段方法,称为情境感知自适应(CASA)方法,用于域泛化。CASA 模拟了近似的元泛化场景,并结合了一个自适应模块,以便调整预训练的元源模型以适应元目标域,同时在元源域中保持其预测能力。自适应的核心概念是利用上下文信息(例如 mini-batch 特征的均值)作为域知识,自动适应在第一阶段训练的模型,使其适应第二阶段的新上下文。最后,我们使用多个元源模型的组合来进行测试域的推理。实验结果表明,我们提出的方法在标准基准测试中取得了最先进的性能。