arXiv:2503.02857v3 宣告类型: replace-cross 摘要：在生成式AI日益真实的背景下，稳健的换脸检测对于减轻欺诈和虚假信息至关重要。虽然许多换脸检测器在学术数据集上报告了高准确性，但我们表明，这些学术基准已经过时且不能代表真实世界的换脸。我们引入了Deepfake-Eval-2024，这是一个新的包含2024年从社交媒体和换脸检测平台用户中收集的真实世界换脸的新换脸检测基准。Deepfake-Eval-2024包含45小时的视频、56.5小时的音频和1,975张图片，涵盖了最新的篡改技术。该基准包含来自52种不同语言的88个不同网站上的多媒体内容。我们发现，当在Deepfake-Eval-2024上评估开源最先进的换脸检测模型时，其性能急剧下降，与先前基准相比，视频模型的AUC降低了50%，音频模型降低了48%，图像模型降低了45%。我们还评估了商用换脸检测模型和在Deepfake-Eval-2024上微调的模型，并发现它们在性能上优于现成的开源模型，但尚未达到换脸法医分析师的准确性。数据集可在https://github.com/nuriachandra/Deepfake-Eval-2024 获取。