LLM2D
返回列表
海带-7B：视频生成基础模型的经济高效训练
Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model
作者: Team Seawead, Ceyuan Yang, Zhijie Lin, Yang Zhao, Shanchuan Lin, Zhibei Ma, Haoyuan Guo, Hao Chen, Lu Qi, Sen Wang, Feng Cheng, Feilong Zuo Xuejiao Zeng, Ziyan Yang, Fangyuan Kong, Zhiwu Qing, Fei Xiao, Meng Wei, Tuyen Hoang, Siyu Zhang, Peihao Zhu, Qi Zhao, Jiangqiao Yan, Liangke Gui, Sheng Bi, Jiashi Li, Yuxi Ren, Rui Wang, Huixia Li, Xuefeng Xiao, Shu Liu, Feng Ling, Heng Zhang, Houmin Wei, Huafeng Kuang, Jerry Duncan, Junda Zhang, Junru Zheng, Li Sun, Manlin Zhang, Renfei Sun, Xiaobin Zhuang, Xiaojie Li, Xin Xia, Xuyan Chi, Yanghua Peng, Yuping Wang, Yuxuan Wang, Zhongkai Zhao, Zhuo Chen, Zuquan Song, Zhenheng Yang, Jiashi Feng, Jianchao Yang, Lu Jiang
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2504.08685v1

摘要

arXiv:2504.08685v1 论文类型: cross 摘要: 本技术报告介绍了一种成本效益高的视频生成基础模型训练策略。我们使用大约665,000个H100 GPU小时从头开始训练了一个中型研究模型Seaweed-7B，包含约70亿个参数（7B）。尽管使用了较为适度的计算资源进行训练，Seaweed-7B在性能上仍然表现出与更大规模的当前视频生成模型相当，甚至超越的效果。在计算资源受限的情况下，设计选择尤为重要。本技术报告强调了对于中型扩散模型性能提升的关键设计决策。实验证明，我们做出了以下两点观察：(1) Seaweed-7B在性能上能达到与在大量GPU资源下训练的大规模模型相当，甚至超越的效果；(2) 具备较强泛化能力的我们的模型可以通过轻量级微调或继续训练，有效地适应广泛的应用场景。访问项目页面: https://seaweed.video/
查看原文下载 PDF