arXiv:2502.06635v2 宣布类型: 替换-交叉 摘要: Steel-LLM 是一个基于中文的语言模型，从头开始开发，旨在利用有限的计算资源创建一个高质量的开源模型。该项目于2024年3月启动，旨在使用大规模数据集训练一个包含10亿参数的模型，强调透明度和实用见解的分享，以协助社区中的其他人。训练过程主要集中在中文数据上，其中包括少量的英语数据，通过提供更详细和实用的建模之旅的说明来弥补现有开源LLM中的空白。Steel-LLM 在诸如CEVAL和CMMLU等基准测试中表现出竞争力，优于大型机构早期的模型。本文提供了该项目关键贡献的全面总结，包括数据收集、模型设计、训练方法以及沿途遇到的挑战，为研究人员和从业者开发自己的LLM提供有价值的资源。该模型检查点和训练脚本可访问 https://github.com/zhanshijinwat/Steel-LLM。