LLM2D
TeleSparse:实用的深度神经网络隐私保护验证方法
TeleSparse: Practical Privacy-Preserving Verification of Deep Neural Networks
作者: Mohammad M Maheri, Hamed Haddadi, Alex Davidson
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.19274v1

摘要

arXiv:2504.19274v1 宣告类型:交叉 摘要:理解深度学习推理是否正确应用是验证模型完整性的关键。然而,这种验证通常需要访问模型权重和(潜在敏感或私有的)训练数据。所谓零知识简洁非交互知识证明(ZK-SNARKs)似乎提供了在无需访问此类敏感数据的情况下验证模型推理的能力。然而,将ZK-SNARKs应用到现代神经网络,如变换器和大型视觉模型,引入了显著的计算开销。 我们提出了一种ZK友好的后处理机制TeleSparse,以解决这一问题的实用解决方案。TeleSparse解决了应用ZK-SNARKs到现代神经网络中两个根本性的挑战:(1)减少电路约束:过度参数化的模型导致了大量的ZK-SNARK验证约束,增加了内存和证明生成的成本。我们通过应用神经网络模型的稀疏化来解决这一问题,提高了证明效率,同时不牺牲准确性和安全性。(2)通过神经 teleportation(一种新的激活函数范围压缩适应方法)优化非线性函数所需的查找表大小,缩小激活函数的范围。 TeleSparse在同一模型上的证明者内存使用量减少了67%,证明生成时间减少了46%,且准确率损失约为1%。我们使用Halo2证明系统实现了我们的框架,并在多种架构(视觉变换器、ResNet、MobileNet)和数据集(ImageNet、CIFAR-10、CIFAR-100)上展示了其有效性。这项工作为ZK友好的模型设计开辟了新的方向,朝着可扩展、资源高效的可验证深度学习迈进。