arXiv:2505.07671v1 宣告类型: cross 摘要: 检索增强生成 (RAG) 已经成为增强大语言模型 (LLMs) 外部知识的强大框架，特别是在需要专业和动态信息的科学领域中。尽管其潜力巨大，但在化学领域的应用仍然相对未被探索，主要原因是缺乏高质量的领域特定语料库和完善的评估基准。在这项工作中，我们引入了 ChemRAG-Bench，这是一个全面的基准，旨在系统地评估 RAG 在一系列化学相关任务中的有效性。伴随的化学语料库集成了异构知识来源，包括科学文献、PubChem数据库、PubMed摘要、教科书和Wikipedia条目。此外，我们还介绍了 ChemRAG-Toolkit，这是一个模块化且可扩展的 RAG 工具包，支持五种检索算法和八种LLMs。使用 ChemRAG-Toolkit，我们展示了 RAG 在性能方面的显著提升——相对于直接推理方法，平均相对改进率为 17.4%。我们还对检索架构、语料库选择以及检索片段的数量进行了深入分析，最终提出了实用建议，以指导未来 RAG 系统在化学领域的研究和部署。代码和数据可在 https://chemrag.github.io 获取。