LLM2D
Few-shot 半监督编码与解码在视频监控中的应用
Few-shot Semantic Encoding and Decoding for Video Surveillance
作者: Baoping Cheng, Yukun Zhang, Liming Wang, Xiaoyan Xie, Tao Fu, Dongkun Wang, Xiaoming Tao
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2505.07381v1

摘要

arXiv:2505.07381v1 交叉公告类型: cross 摘要:随着视频监控摄像头的数量和分辨率不断增长,传输和存储监控视频的负担在增加。基于香农理论的传统通信方法正面临着优化瓶颈。作为一种新兴的通信方法,语义通信有望突破这一瓶颈并降低视频的存储和传输消耗。现有的语义解码方法通常需要为每个场景训练神经网络许多样本,这既耗时又费力。在这项研究中,我们提出了一种针对监控视频的语义编码和解码方法。首先,提取了草图作为语义信息,并提出了一种草图压缩方法以减少语义信息的比特率。然后,提出了一种图像翻译网络,将草图转换为带有参考帧的视频帧。最后,提出了一种少样本草图解码网络,从草图中重建视频。实验结果表明,所提出的方法在视频重建性能上显著优于基线方法。草图压缩方法可以在几乎不影响视频质量的情况下有效减少语义信息的存储和传输消耗。所提出的方法提供了一种新颖的语义编码和解码方法,只需每个监控场景进行少量训练样本,从而提高了语义通信系统的实用性。