LLM2D
面向硬件的静态量化方法用于视频扩散变换器
Hardware-Friendly Static Quantization Method for Video Diffusion Transformers
作者: Sanghyun Yi, Qingfeng Liu, Mostafa El-Khamy
发布日期: 2/24/2025
arXiv ID: oai:arXiv.org:2502.15077v1

摘要

arXiv:2502.15077v1 Announce Type: 交叉 摘要:自SORA表现出令人印象深刻的性能以来,用于视频生成的扩散变换器引起了广泛的研究兴趣。已在GPU上通过动态量化技术展示了这些生成AI模型的有效部署。然而,资源有限的设备无法支持动态量化,需要对模型进行静态量化,以便在AI处理器上高效部署。在本文中,我们提出了一种新的方法,用于在不依赖于动态量化技术的情况下对OpenSora[opensora]进行后训练量化,这是一种视频扩散变换器。我们的方法采用静态量化,实现的视频质量与FP16和动态量化ViDiT-Q方法相当,通过CLIP和VQA指标进行衡量。特别是在每个时间步骤中,我们使用逐步骤校准数据来充分提供后训练的静态量化模型,同时采用通道级量化权重和张量级量化激活。进一步应用平滑量化技术,可以利用静态量化模型获得高质量的视频输出。广泛的实验结果表明,静态量化可以成为视频扩散变换器的一种可行替代方案,提供一种在不牺牲性能的情况下更具效率的方法。