摘要
arXiv:2407.15847v4 Announce Type: replace-cross
摘要:我们引入了LLMmap,这是一种针对LLM集成应用的第一代指纹识别技术。LLMmap采用主动指纹识别方法,向应用程序发送精心设计的查询,并分析响应以确定所使用的具体LLM版本。我们的查询选择受到在不同主题提示下LLM生成可识别响应的专业知识的指导。仅通过8次交互,LLMmap就能以超过95%的准确性识别42种不同的LLM版本。更重要的是,LLMmap设计成能够在不同应用程序层上保持稳健,使其能够识别来自不同供应商的各种开源或专有LLM版本,这些版本在各种未知系统提示、随机采样超参数和复杂的生成框架(如RAG或Chain-of-Thought)下运行。我们讨论了潜在的缓解措施,并表明,在面对资源丰富的对手时,有效的应对措施可能是具有挑战性的或甚至是不可能实现的。