LLM2D
CAVE: 可控作者身份验证解释
CAVE: Controllable Authorship Verification Explanations
作者: Sahana Ramnath, Kartik Pandey, Elizabeth Boschee, Xiang Ren
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2406.16672v3

摘要

arXiv:2406.16672v3 Announce Type: replace-cross 摘要:作者身份验证(Authorship Verification, AV)(两份文档是否有相同的作者?)在许多实际应用中至关重要。AV 在许多需要离线专用模型的数据敏感领域中被广泛使用,而这些模型通常部署在本地环境,因此将这些模型作为公共在线模型(API)提供的选择往往是次优的。然而,当前的离线AV模型由于准确率较低(例如传统语体学AV系统)以及缺乏可访问的后验解释而具有较低的下游用途。在这项工作中,我们通过开发一个训练有素且离线的模型 CAVE(可控作者身份验证解释)来解决上述挑战。CAVE 生成以自由文本形式的可控AV解释,这些解释(1)易于访问(具有统一结构,可以分解成与相关语言特征紧密结合的小解释),并且(2)易于验证以确保解释标签的一致性。我们使用基于提示的方法 Prompt-CAVE 生成了符合期望语言特征的银标准培训数据。然后,我们基于一种新的一致性度量 Cons-R-L 对数据进行过滤,以确保理由标签的一致性。最后,我们使用此数据对一个小且离线的模型(Llama-3-8B)进行微调,以创建我们的模型 CAVE。在三个具有挑战性的AV数据集上的结果表明,CAVE 生成了高质量的解释(根据自动和人工评估进行测量),并且在任务准确度方面具有竞争力。