LLM2D
OpenTuringBench:一种基于开源模型的机器生成文本检测与归属基准框架
OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution
作者: Lucio La Cava, Andrea Tagarelli
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2504.11369v1

摘要

arXiv:2504.11369v1 宣告类型: cross 摘要:开放型大型语言模型(OLLMs)在生成人工智能应用中的使用日益增加,这为检测其生成的内容带来了新的挑战。我们提出了OpenTuringBench,这是一个基于OLLMs的新基准,旨在通过图灵测试和作者归属问题来训练和评估机器生成文本的检测器。OpenTuringBench关注一组代表性的OLLMs,并包含了一系列具有挑战性的评估任务,包括人工/机器操纵的文本、领域外文本以及来自之前未见过模型的文本。我们还提供了一种对比学习框架OTBDetector,用于检测和属性基于OLLM的机器生成文本。结果突显了OpenTuringBench任务的相关性和不同难度的程度,我们的检测器在各种任务中都表现出显著的能力,并且优于大多数现有检测器。有关资源可以在https://huggingface.co/datasets/MLNTeam-Unical/OpenTuringBench上的OpenTuringBench Hugging Face存储库中获取。