arXiv:2502.11330v1 Announce Type: cross 摘要：系统消息在与大型语言模型（LLMs）的交互中发挥着关键作用，通常充当启动对话的提示。通过系统消息，用户可以分配特定角色、执行预定任务、融入背景信息、指定各种输出格式和沟通风格。尽管具有这种灵活性，但公开可用的数据中往往缺乏系统消息，且在行业领域受到严格的许可证限制。手动为公开可用的数据贴上与用户指示相符的系统消息标签需要大量资源。鉴于这些挑战，我们的工作介绍了SysGen，这是一种生成与监督微调数据集中的辅助响应更好地对齐的系统消息的流水线。在SysGen数据上的训练展示了模型响应与系统消息和用户指示对齐的重大改进，这一结果在Multifacet基准测试的多种开源模型上得到了验证，同时对诸如Open LLM Leaderboard 2等其他未见过的基准测试的影响较小。我们的定性分析强调了多样化系统消息的重要性，以确保在不同场景中的更好适应性。