LLM2D
基于LLM辅助判断的在线对话中欺诈和概念漂移的联合检测
Joint Detection of Fraud and Concept Drift inOnline Conversations with LLM-Assisted Judgment
作者: Ali Senol, Garima Agrawal, Huan Liu
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.07852v1

摘要

arXiv:2505.07852v1 交叉型公告 摘要:检测数字通信平台中的虚假互动仍然是一个具有挑战性和未充分解决的问题。这些互动可能会表现为无害的垃圾邮件,也可能升级为复杂的诈骗尝试,使得及早标识恶意意图变得困难。传统的检测方法通常依赖于静态异常检测技术,这些技术无法适应动态对话的变化。一个关键限制是将无害的话题转换误认为概念漂移,从而导致误报或漏报。我们提出了一种两阶段检测框架,首先使用定制的集成分类模型来识别可疑对话。为了提高检测的可靠性,我们引入了一步概念漂移分析,使用One-Class Drift Detector(OCDD)来隔离标记对话中的对话变化。当检测到漂移时,大型语言模型(LLM)会评估该变化是否指示欺诈操纵或合法话题改变。在没有检测到漂移的情况下,行为将被推断为类似于垃圾邮件。我们使用社会工程聊天场景数据集验证了该框架,并展示了其在提高实时欺诈检测的准确性和可解释性方面的实际优势。为了阐述权衡取舍,我们将我们的模块化方法与一个使用不同语言模型进行检测和判断的Dual LLM基线进行了比较。