摘要
arXiv:2504.01053v1 标题类型: cross
摘要:本文提出了一种新的基于知识库(KB)的语义通信框架,用于图像传输。在接收端,通过使用对比学习预训练(CLIP)模型从图像中提取语义嵌入来构建一个基于 Facebook AI 相似搜索(FAISS)的向量数据库。在传输过程中,发送端首先使用 CLIP 模型提取一个 512 维的语义特征,然后使用轻量级神经网络进行压缩后传输。接收端接收到信号后,将特征重建回 512 维,并从知识库中进行相似性匹配以检索最具语义相似性的图像。语义传输的成功是由传输图像和检索到的图像之间的类别一致性来确定的,而不是通过传统的峰值信噪比(PSNR)等传统指标。该提议的系统优先考虑语义准确性,为语义感知通信系统提供了一个新的评估范式。CIFAR100 的实验验证证明了该框架在实现语义图像传输方面的有效性。