LLM2D
KG-LLM-Bench:一种用于评估LLM在文本化知识图上推理能力的可扩展基准
KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs
作者: Elan Markowitz, Krupa Galiya, Greg Ver Steeg, Aram Galstyan
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.07087v1

摘要

arXiv:2504.07087v1 宣布类型: cross 摘要:知识图谱已成为向大型语言模型(LLMs)注入最新、事实性知识的一种流行方法。这通常是通过将知识图谱转换为LLM可以进行上下文处理的文本来实现的。虽然提出了多种知识图谱编码方法,但这种文本化过程对LLM性能的影响仍较少被探索。我们提出了KG-LLM-Bench,这是一个涵盖五个知识图谱理解任务的综合且可扩展的基准测试,并评估了不同编码策略在各种基础模型上的性能影响。我们的广泛实验涉及七种语言模型和五种文本化策略,提供了优化LLM在知识推理任务上性能的见解。