LLM2D
使用知识蒸馏和混合量化在嵌入式FPGA上进行轻量级学习图像压缩部署
Lightweight Embedded FPGA Deployment of Learned Image Compression with Knowledge Distillation and Hybrid Quantization
作者: Alaa Mazouz, Sumanta Chaudhuri, Marco Cagnanzzo, Mihai Mitrea, Enzo Tartaglione, Attilio Fiandrotti
发布日期: 3/25/2025
arXiv ID: oai:arXiv.org:2503.04832v4

摘要

arXiv:2503.04832v4 通知类型: 替换-交叉 摘要:可学习图像压缩(LIC)在编码效率(RD效率)方面显示出超越标准化视频编解码器的潜力,从而推动了对硬件友好型实现的研究。现有大多数LIC硬件实现优先考虑延迟而非RD效率,并通过广泛探索硬件设计空间来实现这一目标。我们提出了一种新的设计范式,将调整设计以适应特定硬件平台的负担转移至模型维度确定上,而无需牺牲RD效率。首先,我们设计了一个从参考教师模型中提取更精简的学生LIC模型的框架:通过调整单一模型的超参数,我们可以在不进行复杂硬件设计探索的情况下满足不同硬件平台的约束条件。其次,我们提出了一种硬件友好型实现的广义分量归一化(GDN)激活函数,即使在参数量化后也能保持RD效率。第三,我们设计了一种流水线FPGA配置,通过利用并行处理并优化资源分配来充分利用可用的FPGA资源。我们的实验结果表明,我们的实现超越了所有现有的FPGA实现,同时在性能上与原始模型非常接近。