摘要
arXiv:2504.04373v1 类型: cross
摘要: 提示恢复,从大型语言模型(LLMs)的输出中重建提示,随着LLMs的普及而变得越来越重要。大多数用户通过API访问LLMs,不使用内部模型权重,仅依赖输出和logits,这使得恢复过程变得复杂。本文探讨了一项独特的提示恢复任务,重点关注风格转换和改写提示的恢复,而非典型的问答任务。我们引入了一个使用LLM辅助创建的具有高质量保障的数据集,并测试了零样本、少量样本、突破性措施、步步为营、微调以及新型标准提示fallback等方法,以应对表现不佳的情况。结果显示,一次样本和微调方法能获得最佳效果,但突显了传统句子相似性度量在评估提示恢复中的不足。我们的贡献包括(1)基准数据集,(2)提示恢复策略的全面实验,以及(3)识别当前评估度量的局限性,所有这些都推进了不受输入提示结构限制的一般提示恢复研究。