LLM2D
OAEI-LLM:一个用于理解大规模语言模型在本体匹配中幻觉的基准数据集
OAEI-LLM: A Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching
作者: Zhangcheng Qiang, Kerry Taylor, Weiqing Wang, Jing Jiang
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2409.14038v5

摘要

arXiv:2409.14038v5 公告类型:替换 摘要:大型语言模型(LLMs)在领域特定的下游任务中常见地出现幻觉现象,而在本体匹配(OM)任务中也不例外。由于使用LLMs进行OM的应用日益增多,因此需要基准数据集来更好地了解LLMs的幻觉现象。OAEI-LLM数据集是Ontology Alignment Evaluation Initiative(OAEI)数据集的扩展版本,用于评估OM任务中特定于LLMs的幻觉现象。我们概述了数据集构建和模式扩展的方法,并提供了潜在应用场景的示例。