LLM2D
使用对比学习和掩码自动编码器学习的多任务基础模型无线信道表示
A Multi-Task Foundation Model for Wireless Channel Representation Using Contrastive and Masked Autoencoder Learning
作者: Berkay Guler, Giovanni Geraci, Hamid Jafarkhani
发布日期: 5/15/2025
arXiv ID: oai:arXiv.org:2505.09160v1

摘要

arXiv:2505.09160v1 交叉类型: cross 摘要: 当前自监督学习在无线信道表示的应用中,通常借鉴文本和图像处理领域的发展成果,而未能充分解决无线通信的特殊特性和约束条件。为填补这一空白,我们首先提出了WiMAE(无线屏蔽自编码器),这是一种基于变压器的编码器-解码器基础模型,预训练于一个现实的开源多天线无线信道数据集上。以此为基础,我们进一步开发了ContraWiMAE,该模型通过在统一的多任务框架中结合对比学习目标与重构任务来增强WiMAE。通过从预训练的WiMAE权重开始,并通过噪声注入生成正样本对,对比学习组件使模型能够捕捉结构和判别性特征,从而超越单独重构所能达到的表示质量。通过在未见过的场景中进行广泛评估,我们展示了两种方法在多个下游任务中的有效性,ContraWiMAE在多种无线环境中进一步提高了线性可分性和适应性。与当前最先进的无线信道基础模型进行比较评估,证实了我们模型的优越性能和数据效率,突显了它们作为未来自监督无线信道表示学习研究的强大基准的潜力。