LLM2D
深度神经网络在硬标签设置下的多项式时间密码分析提取
Polynomial Time Cryptanalytic Extraction of Deep Neural Networks in the Hard-Label Setting
作者: Nicholas Carlini, Jorge Ch\'avez-Saab, Anna Hambitzer, Francisco Rodr\'iguez-Henr\'iquez, Adi Shamir
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05750v1

摘要

深度神经网络 (DNN) 具有宝贵的价值,但其公共可访问性引发了恶意行为者提取参数的安全问题。Carlini 等人 (crypto'20) 和 Canales-Martínez 等人 (eurocrypt'24) 的最新研究将这个问题与通过选择明文攻击提取分组密码密钥进行了类比。利用差分密码分析,他们证明了可以使用多项式数量的查询和计算时间推断出黑盒基于 ReLU 的 DNN 的所有权重和偏差。然而,他们的攻击依赖于输出 logits 的精确数值,这使得能够计算它们的导数。为了克服这一限制,Chen 等人 (asiacrypt'24) 解决了更现实的硬标签场景,在这种场景中,攻击者只能访问最终分类标签(例如,“狗”或“汽车”)。他们提出了一种提取方法,该方法需要多项式数量的查询,但执行时间呈指数级增长。此外,他们的方法仅适用于一组受限的架构,只能处理二元分类器,并且仅在最多具有四个神经元(最多分成两个隐藏层)的小型神经网络上进行了演示。本文介绍了新的技术,这些技术首次在最具挑战性的硬标签设置中实现了 DNN 参数的密码分析提取,使用多项式数量的查询和多项式时间。我们通过从在 CIFAR-10 数据集上训练的 DNN 中提取近一百万个参数来验证我们的方法,该 DNN 包含四个隐藏层中的 832 个神经元。我们的结果揭示了一个令人惊讶的事实,即基于 ReLU 的 DNN 的所有权重都可以通过仅分析其决策边界的几何形状来有效地确定。