arXiv:2502.14714v1 宣布类型: 新颖 摘要：LLM模型的生成能力为加速任务提供了机遇，但同时也引发了对其生成知识真实性的担忧。为解决这些问题，我们提出了一种计算方法，系统性地评估LLM模型被提示生成的生物医学知识的事实准确性。该方法包括两个步骤：疾病为中心的关联生成和利用生物医学本体的语义知识验证这些关联。我们选用ChatGPT作为选定的LLM模型，设计了一系列提示工程步骤，以生成疾病、药物、症状和基因之间的联系，为评估奠定基础。实验结果显示，在识别疾病术语（88%-97%）、药物名称（90%-91%）和遗传信息（88%-98%）方面具有高准确性。而症状术语的识别准确性相对较低（49%-61%），并在相应地与DOID、ChEBI、SYMPTOM和GO本体验证后得到了证实。关联验证显示，疾病-药物和疾病-基因关联的文献覆盖率为（89%-91%）。症状术语识别准确率较低也影响了症状相关关联的验证（49%-62%）。