LLM2D
基于对抗性特征学习的人体三维重建语义通信方法
An adversarial feature learning based semantic communication method for Human 3D Reconstruction
作者: Shaojiang Liu, Jiajun Zou, Zhendan Liu, Meixia Dong, Zhiping Wan
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15595v1

摘要

随着人体三维重建技术在各个领域的广泛应用,对数据传输和处理效率的需求不断提高,尤其是在网络带宽有限且需要低延迟的场景中。本文提出了一种基于对抗性特征学习的语义通信方法(AFLSC)用于人体三维重建,该方法专注于提取和传输对三维重建任务至关重要的语义信息,从而显著优化数据流并缓解带宽压力。在发送端,我们提出了一种基于多任务学习的特征提取方法,用于从二维人体图像中捕获空间布局、关键点、姿态和深度信息,并设计了一种基于对抗性特征学习的语义编码技术,将这些特征信息编码成语义数据。我们还开发了一种动态压缩技术,以高效地传输这些语义数据,极大地提高了传输效率并降低了延迟。在接收端,我们设计了一种高效的多级语义特征解码方法,将语义数据转换回关键图像特征。最后,采用改进的ViT-扩散模型进行三维重建,生成人体三维网格模型。实验结果验证了该方法在数据传输效率和重建质量方面的优势,证明了其在带宽受限环境中的应用潜力。