LLM2D
我的系统提示被使用了吗?大型语言模型提示成员 inference
Has My System Prompt Been Used? Large Language Model Prompt Membership Inference
作者: Roman Levin, Valeriia Cherepanova, Abhimanyu Hans, Avi Schwarzschild, Tom Goldstein
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2502.09974v1

摘要

arXiv:2502.09974v1 Announce Type: 新 摘要:提示工程已经作为一种强大的技术出现了,用于优化大型语言模型(LLMs)以适应特定的应用程序,从而加快原型开发速度并提高性能,引起了社区保护专有系统提示的兴趣。在本文中,我们通过成员推理的角度探索了提示隐私的一种新视角。我们开发了Prompt Detective,这是一种统计方法,可以可靠地确定给定的系统提示是否被第三方语言模型使用。我们的方法依赖于对两个不同系统提示对应的模型输出分布进行统计测试。通过使用各种语言模型进行广泛的实验,我们展示了Prompt Detective在提示成员推理方面的有效性。我们的工作揭示即使是系统提示的小变动也会影响响应分布,使我们能够以统计显著性验证提示的使用情况。