摘要
鉴于社交媒体上错误信息的广泛传播,对在线声明实施事实核查机制至关重要。手动验证每个声明非常具有挑战性,突出了对自动化事实核查系统的需求。本文介绍了我们为解决此问题而设计的系统。我们利用 Averitec 数据集(Schlichtkrull 等人,2023 年)来评估我们的事实核查系统的性能。除了真实性预测之外,我们的系统还提供支持性证据,这些证据是从数据集中提取的。我们开发了一个检索和生成(RAG)管道,从知识库中提取相关证据句子,然后将这些句子与声明一起输入大型语言模型 (LLM) 进行分类。我们还评估了多个 LLM 的少样本上下文学习 (ICL) 能力。我们的系统实现了 0.33 的“Averitec”分数,比基线提高了 22%。我们的代码已在 https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms 上公开发布。