LLM2D
加密大型模型推理:对称加密 paradigm
Encrypted Large Model Inference: The Equivariant Encryption Paradigm
作者: James Buban, Hongyang Zhang, Claudio Angione, Harry Yang, Ahmad Farhan, Seyfal Sultanov, Michael Du, Xuran Ma, Zihao Wang, Yue Zhao, Arria Owlia, Fielding Johnston, Patrick Colangelo
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01013v1

摘要

arXiv:2502.01013v1 宣告类型:交叉 摘要:大规模深度学习模型,如现代语言模型和扩散架构,已在自然语言处理和计算机视觉等应用领域引起革命。然而,这些模型在分布式或去中心化环境中部署时引发了重大隐私问题,因为敏感数据可能在推理过程中被暴露。传统的安全多方计算、同态加密和差分隐私等技术提供了一定的缓解措施,但常常会导致显著的计算开销、延迟惩罚或与非线性网络操作的兼容性限制。在这项工作中,我们引入了等变加密(Equivariant Encryption, EE),这是一种新型的范式,旨在实现近乎零性能开销的加密数据上的安全、“盲”推理。与完全同态方法对整个计算图进行加密不同,EE 选择性地模糊化了神经网络层内的关键内部表示,同时保留了线性和一组指定的非线性操作的精确功能。这种目标加密确保即使在不可信的基础设施上处理,原始输入、中间激活和输出也是保密的。我们详细阐述了 EE 的理论基础,并将其性能和集成复杂性与传统的隐私保留技术进行了比较,还展示了其在从卷积网络到大型语言模型等多种架构中的适用性。此外,我们的工作还提供了全面的威胁分析,概述了潜在的攻击向量和基线策略,并在去中心化环境中将 EE 与标准推理管道进行了基准测试。结果证实,EE 维持了高保真度和吞吐量,有效地弥合了强大数据保密性和现代大规模模型推理的严格效率要求之间的差距。