arXiv:2503.17604v4 宣告类型: 替换 摘要: 大型语言模型（LLMs）在推进科学知识和解决复杂挑战方面展现出了显著的潜力。在这项工作中，我们介绍了一种名为 OmniScience 的专门化大型推理模型，专门用于一般科学领域，通过三个关键组件开发：（1）在精心挑选的科学文献语料库上进行领域适应性预训练，（2）在专项数据集上进行指令调整以指导模型执行领域特定任务，以及（3）通过微调进行基于推理的知识精炼，以大幅增强其生成上下文相关且逻辑正确的响应的能力。我们通过开发一个电池代理，高效地对分子进行排名，以潜在电解质溶剂或添加剂的形式展示 OmniScience 的灵活性。全面评估显示，在 GPQA 石英石基准和专门的电池基准上，OmniScience 在与最新大型推理模型的竞争中表现出竞争力，同时在参数数量相似的情况下，其性能超过了所有公共推理和非推理模型。进一步的消融实验显示，领域适应性预训练和基于推理的知识精炼对于实现我们在各个基准上的性能水平至关重要。