arXiv:2410.11182v2 宣布类型: 替换-交叉 摘要: 当前的LLM自定义通常依赖于两种部署策略：闭源API，这需要用户将私有数据上传到外部服务器，以及开源模型，这允许本地微调但存在滥用风险。在本文中，我们argue了以下观点：(1) 将闭源LLM部署在用户可控的基础架构中（即本地部署）可以增强数据隐私并减轻滥用风险；(2) 一个设计良好的本地部署必须确保模型的保密性——防止模型被盗——并提供保护隐私的自定义功能。此前对小型模型的研究仅在硬件保护的设备中保护输出层，以平衡保密性和微调效率。然而，我们证明了这种方法对于防御大规模LLM免受榨取性攻击是不够的。因此，我们提出了一种半开放部署框架，仅保护少数精心选择的层，同时具备与完全保护模型相媲美的榨取性攻击抵抗力，并保持调整灵活性。通过广泛的实验，我们展示了保护底层层可以显著降低功能抽取风险。我们的发现表明，隐私和保密性可以共存，为兼具可用性和保护的本地AI部署铺平了道路。