LLM2D
FAD:频率适应与转移以实现跨域少-shot 学习
FAD: Frequency Adaptation and Diversion for Cross-domain Few-shot Learning
作者: Ruixiao Shi, Fu Feng, Yucheng Xie, Jing Wang, Xin Geng
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.08349v1

摘要

arXiv:2505.08349v1 Announce Type: cross 摘要:跨域少样本学习(CD-FSL)要求模型在显著的分布偏移下从有限的标记样本中进行泛化。尽管近年来的方法通过轻量级的任务特定模块增强了适应性,但它们仅在空间域中操作并忽视了低频和高频特定的变异性,这些变异性对于实现鲁棒的迁移往往至关重要。我们观察到,来自不同域的相似空间图像在频谱表示上可能存在显著差异,低频和高频分别捕捉粗略和精细层次的语义信息。这表明,统一的空间适应可能忽略这些频谱差异,从而限制了泛化能力。为了解决这一问题,我们引入了频谱适应与分割(Frequency Adaptation and Diversion, FAD),这是一种频谱感知框架,明确建模和调整频谱成分。其核心是频谱分割适配器,该适配器使用离散傅里叶变换(DFT)将中间特征变换到频域,通过径向掩码将它们划分为低、中、高频带,然后使用逆傅里叶变换(IDFT)重建每个频带。然后,使用与频谱尺度相匹配的内核尺寸的专用卷积分支对每个频带进行调整,从而在频带上实现针对性和解耦的适应。在Meta-Dataset基准上的广泛实验表明,FAD在已见和未见域上均能稳定地优于当前最佳方法,验证了频域表示和带宽适应对于提高跨域少样本学习中的泛化能力的效用。