arXiv:2503.17604v3 公告类型: 替换 摘要：大型语言模型（LLMs）在推进科学知识和解决复杂挑战方面展现出了非凡的潜力。在本文中，我们介绍了OmniScience，这是一种专门为了通用科学而开发的大型推理模型，通过三个关键组件进行开发：(1) 在精心挑选的科学文献语料库上进行领域自适应预训练，(2) 在专门的数据集上进行指令微调，以引导模型遵循特定领域的任务，以及(3) 通过微调进行基于推理的知识蒸馏，以显著提高其生成上下文相关且逻辑严密响应的能力。我们通过开发电池代理，能够高效地对分子进行排名，以确定其作为潜在电解质溶剂或添加剂的可能性，展示了OmniScience的多功能性。全面的评估结果显示，OmniScience在GPQA钻石和特定领域的电池基准测试中与最先进的大型推理模型竞争力相当，并且参数数量相近时，优于所有公开的推理和非推理模型。进一步通过消融实验表明，在各个基准测试中达到我们的性能水平的关键在于领域自适应预训练和基于推理的知识蒸馏。