LLM2D
返回列表
海带-7B：视频生成基础模型的经济高效训练
Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model
作者: Team Seawead, Ceyuan Yang, Zhijie Lin, Yang Zhao, Shanchuan Lin, Zhibei Ma, Haoyuan Guo, Hao Chen, Lu Qi, Sen Wang, Feng Cheng, Feilong Zuo, Xuejiao Zeng, Ziyan Yang, Fangyuan Kong, Meng Wei, Zhiwu Qing, Fei Xiao, Tuyen Hoang, Siyu Zhang, Peihao Zhu, Qi Zhao, Jiangqiao Yan, Liangke Gui, Sheng Bi, Jiashi Li, Yuxi Ren, Rui Wang, Huixia Li, Xuefeng Xiao, Shu Liu, Feng Ling, Heng Zhang, Houmin Wei, Huafeng Kuang, Jerry Duncan, Junda Zhang, Junru Zheng, Li Sun, Manlin Zhang, Renfei Sun, Xiaobin Zhuang, Xiaojie Li, Xin Xia, Xuyan Chi, Yanghua Peng, Yuping Wang, Yuxuan Wang, Zhongkai Zhao, Zhuo Chen, Zuquan Song, Zhenheng Yang, Jiashi Feng, Jianchao Yang, Lu Jiang
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2504.08685v2

摘要

arXiv:2504.08685v2 Announce Type: replace-cross 摘要：本技术报告呈现了一种成本高效的视频生成基础模型训练策略。我们提出了一种中型研究模型，名为Seaweed-7B，具有约70亿参数（7B），并在665,000个H100 GPU小时的资源下从头开始训练。尽管使用了中等规模的计算资源进行训练，Seaweed-7B在性能上仍然与更大规模的当代视频生成模型不相上下。在资源受限的环境中，设计选择尤为重要。本技术报告强调了增强中型扩散模型性能的关键设计决策。实证研究表明：（1）Seaweed-7B在性能上能够达到与在更大量GPU资源下训练的大型模型相当，甚至超越大型模型的效果；（2）我们的模型表现出色，具备较强的泛化能力，可以通过轻量级微调或继续训练有效地适应广泛的应用场景。更多详情请参见项目页面：https://seaweed.video/
查看原文下载 PDF