摘要
arXiv:2502.00847v1 安全类型:交叉
摘要:随着大语言模型(LLM)在普通用户中的流行度日益增加,隐私保护和对抗鲁棒性已成为LLM基服务的迫切需求,这两方面需求虽然已经分别追求,但很少联合追求。在本文中,据我们所知,我们是首次尝试通过紧密整合两个不相连的领域:隐私推理和提示聚合并,来实现鲁棒性和私密性的LLM推理。前者通过加密LLM传输和处理的推理数据来保护用户的隐私,而后者通过从多个提示后LLM响应中获得聚合输出来增强对抗鲁棒性。尽管单独使用时被认为非常有效,但结合用于提示聚合并的隐私推理会带来新的挑战,使得现有技术的简单组合效率低下。为了克服这些困难,我们提出了SecPE,它为提示聚合并的核心算法构建块设计了高效的全同态加密(FHE)对应物。我们在8个任务上进行了广泛的实验,以评估SecPE的准确度、鲁棒性和效率。结果显示,SecPE保持了高纯净准确度,并且与基础隐私推理方法相比,仅增加了2.5%的效率开销,表明其具有令人满意的“准确度-鲁棒性-效率”平衡。对于对提示聚合并造成重大速度放缓的加密Argmax操作的效率,SecPE比最先进的同类方法快35.4倍,这可以在本研究之外独立引起兴趣。