LLM2D
基于RAG的方法在本体工程中生成能力问题
A RAG Approach for Generating Competency Questions in Ontology Engineering
作者: Xueli Pan, Jacco van Ossenbruggen, Victor de Boer, Zhisheng Huang
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2409.08820v2

摘要

arXiv:2409.08820v2 宣称类型: 替换 摘要:能力问题(CQ)的表述是多种本体开发和评估方法的核心。传统上,构建这些能力问题的任务通常依赖于领域专家和知识工程师的努力,这往往耗时且劳动密集。随着大型语言模型(LLMs)的出现,自动化和增强这一过程变得有可能。与其他类似工作不同,其他工作使用现有的本体或知识图谱作为LLM的输入,我们提出了一种检索增强生成(RAG)方法,该方法使用LLM根据被视为领域知识库的科学论文集自动生成CQ。我们研究了其性能,并具体研究了不同数量的论文对RAG以及不同温度设置的LLM的影响。我们在GPT-4上进行了两个领域本体工程任务的实验,并将结果与领域专家构建的真实CQ进行比较。利用评价指标(精确度和一致性)对结果进行实证评估显示,相比于零样本提示,将相关领域知识添加到RAG中可以提高LLM在为具体本体工程任务生成CQ方面的性能。