arXiv:2502.06635v1 Announce Type: cross 摘要：Steel-LLM 是一个以中文为中心的语言模型，从头开始开发，旨在在有限的计算资源下创建高质量的开源模型。该项目于2024年3月启动，旨在在大规模数据集上训练一个10亿参数的模型，并优先考虑透明度和实用见解的分享，以帮助社区中的其他人。训练过程主要集中在中文数据上，包含一小部分英语数据，通过提供模型构建旅程的更详细和实用的记录，弥补现有开源LLM的不足。Steel-LLM在CEVAL和CMMLU等基准测试中展示了竞争力，超过了大型机构的早期模型。本文提供了该项目关键贡献的全面总结，包括数据收集、模型设计、训练方法和途中遇到的挑战，为希望开发自己LLM的研究人员和 practitioner 提供了宝贵的资源。模型检查点和训练脚本可在 https://github.com/zhanshijinwat/Steel-LLM 获取。