LLM2D
零样本端到端中文关系抽取:Gemini、LLaMA和ChatGPT的比较研究
Zero-Shot End-to-End Relation Extraction in Chinese: A Comparative Study of Gemini, LLaMA and ChatGPT
作者: Shaoshuai Du, Yiyi Tao, Yixian Shen, Hang Zhang, Yanxin Shen, Xinyu Qiu, Chuanqi Shi
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2502.05694v1

摘要

arXiv:2502.05694v1 交叉公告类型:cross 摘要:本研究探讨了各种大型语言模型(LLMs)在中文中的零样本端到端关系提取(RE)性能,这是一个不需要标注数据就能同时进行实体识别和关系提取的任务。尽管LLMs在关系提取方面前景看好,但大多数前期工作主要集中在英语上或者假设预先标注的实体,这使得它们在中国RE中的有效性基本上未被探索。为了弥合这一差距,我们根据准确率、效率和适应性评估了ChatGPT、Gemini和LLaMA。ChatGPT在整体性能上表现出最优,平衡了精确率和召回率,而Gemini实现了最快的推理速度,使其适用于实时应用。LLaMA在准确率和延迟方面表现较差,突显了进一步适应的必要性。我们的研究结果为LLMs在零样本中文RE中的优势和局限性提供了见解,揭示了准确率与效率之间的权衡。本研究为未来旨在改善LLMs适应复杂语言任务的研究奠定了基础,特别是在中文NLP领域。