LLM2D
SemEval-2024 任务 8:部分机器生成文本中的黑盒词级文本边界检测
RKadiyala at SemEval-2024 Task 8: Black-Box Word-Level Text Boundary Detection in Partially Machine Generated Texts
作者: Ram Mohan Rao Kadiyala
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16659v1

摘要

随着文本生成式模型的日益普及以及机器生成文本在各个领域的广泛应用,区分人写文本和机器生成文本已成为一项重大挑战。虽然现有的模型和专有系统专注于识别给定文本是完全由人撰写还是完全由机器生成,但只有少数系统能够在句子或段落级别上提供关于机器生成可能性的见解,而且其准确性水平不可靠,仅适用于特定领域和生成器。本文针对一项新颖的任务提出了一些可靠的方法,即在字级别上识别给定文本的哪个部分是机器生成的,同时比较不同方法和模型的结果。我们对专有系统进行了比较,并评估了我们的模型在未见过领域和生成器文本上的性能。研究结果表明,检测精度得到了显著提高,同时也对检测能力的其他方面进行了比较。最后,我们讨论了改进的潜在途径以及我们工作的意义。所提出的模型也非常适合于检测许多大型语言模型(LLM)的指令变体输出中哪些部分是机器生成的。