LLM2D
基于证据的错误信息检测的网络检索代理
Web Retrieval Agents for Evidence-Based Misinformation Detection
作者: Jacob-Junqi Tian, Hao Yu, Yury Orlovskiy, Tyler Vergho, Mauricio Rivera, Mayank Goel, Zachary Yang, Jean-Francois Godbout, Reihaneh Rabbany, Kellin Pelrine
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2409.00009v2

摘要

本文提出了一种基于代理的自动事实核查方法来检测虚假信息。我们证明,将一个强大的 LLM 代理(无法访问互联网进行搜索)与一个在线网络搜索代理相结合,比单独使用每个工具的效果更好。我们的方法在多种模型中表现出鲁棒性,优于其他方法,并且与不带搜索功能的 LLM 相比,将虚假信息检测的宏观 F1 值提高了多达 20%。我们还对系统利用的来源及其偏差、系统构建过程中的决策(如搜索工具和知识库)、所需证据类型及其对结果的影响以及整体过程的其他部分进行了广泛的分析。通过将强大的性能与深入的理解相结合,我们希望为未来的搜索驱动的虚假信息缓解系统提供构建模块。