大型语言模型 (LLM) 的最新进展引发了人们对推理成本的担忧,这使得模型压缩研究的需求日益增长。虽然知识蒸馏 (KD) 是解决这一问题的常用方法,但针对像 LLM 这样的生成式语言模型的 KD 研究相对较少,而蒸馏对学生友好的知识(这种方法在分类模型的 KD 中表现出良好的性能)在生成式语言模型中尚未得到探索。为了探索这种方法,我们提出了 PromptKD,这是一种简单而有效的方法,它首次在 KD 中利用提示微调,使生成式语言模型能够传递对学生友好的知识。与之前在分类中需要对整个教师模型进行微调以提取对学生友好的知识的工作不同,PromptKD 通过添加少量提示标记并仅在学生指导下对提示进行微调,就能实现类似的效果。在指令遵循数据集上的大量实验表明,PromptKD 实现了最先进的性能,同时仅添加了教师参数的 0.0007% 作为提示。进一步的分析表明,蒸馏对学生友好的知识有效地缓解了整个训练过程中的暴露偏差,从而提高了性能。
由于在大量候选人中指定完整的序数偏好存在困难,我们研究了可以通过查询 $t < m$ 个候选人的投票者来计算的投票规则。本文推广了先前针对该问题特定实例的研究,全面刻画了可以在任何 $1 \leq t < m$ 时计算的职位评分规则集合,值得注意的是,该集合不包含简单多数规则。然后,我们将其扩展到表明单一可转移投票(淘汰投票)也存在类似的不可能性结果。这些负面结果是信息论的,与查询的数量无关。最后,对于可以使用有限大小查询计算的评分规则,我们给出了确定得分最大化候选人所需的确定性或随机算法的查询次数的参数上限和下限。虽然我们的界限对于确定性算法没有差距,但确定随机算法的精确查询复杂度是一个具有挑战性的开放性问题,我们解决了一个特例。
针对多个私有数据孤岛上的联邦查询处理,选择合适的隐私保护机制是一个挑战。现有的隐私保护机制包括安全多方计算 (SMC)、带有差分隐私 (DP) 的近似查询处理、SMC 和 DP 的结合、基于 DP 的数据混淆以及联邦学习。这些机制在准确性、隐私、执行效率和存储效率之间做出了不同的权衡。在这项工作中,我们首先介绍了一种新的隐私保护技术,该技术使用经过差分隐私随机梯度下降 (DP-SGD) 算法训练的深度学习模型来替换实际数据的一部分以回答查询。然后,我们展示了一种新颖的声明式隐私保护工作流,它允许用户指定“要保护哪些私人信息”,而不是“如何保护”。在后台,系统依赖于成本模型来自动选择隐私保护机制以及超参数。同时,所提出的工作流还允许人类专家审查和调整所选的隐私保护机制,以用于审计/合规和优化目的。
在医疗技术飞速发展的时代,医疗数据的分割已不可避免,因此需要开发能够在分布式数据上进行训练的隐私保护机器学习算法。由于《健康保险流通与责任法案》(HIPAA) 施加的严格隐私法规,整合敏感医疗数据并非总是可行。本文介绍了一个符合 HIPAA 标准的框架,该框架可以在分布式数据上进行训练。然后,我提出了一种用于阿尔茨海默病 (AD) 检测的多模态垂直联邦模型,阿尔茨海默病是一种严重的退行性神经疾病,会导致痴呆,严重损害大脑功能,阻碍简单任务的执行,尤其是在没有预防性护理的情况下。这种垂直联邦学习 (VFL) 模型提供了一种分布式架构,使跨不同医疗数据源的协作学习成为可能,同时尊重 HIPAA 施加的隐私限制。本文提出的 VFL 架构提供了一种新颖的分布式架构,使跨不同医疗数据源的协作学习成为可能,同时尊重法定隐私限制。通过利用多种数据模态,可以提高 AD 检测的稳健性和准确性。该模型不仅有助于联邦学习技术的进步,而且也为克服医疗研究中数据分割带来的障碍提供了希望。
从扩散模型中采样可以被视为求解相应的常微分方程(ODE),目标是在尽可能少的函数评估次数(NFE)下获得精确解。最近,利用高阶 ODE 求解器的各种快速采样器已经出现,并取得了比最初的一阶方法更好的性能。然而,这些数值方法固有地会导致一定的近似误差,这使得在极小的 NFE(例如,大约 5)下样本质量显著下降。相比之下,基于每个采样轨迹几乎位于嵌入到环境空间中的二维子空间中的几何观察结果,我们提出了近似平均方向求解器(AMED-Solver),该求解器通过直接学习平均方向来消除截断误差,从而实现快速扩散采样。此外,我们的方法可以轻松用作插件来进一步改进现有的基于 ODE 的采样器。在分辨率从 32 到 512 的图像合成方面进行的大量实验证明了我们方法的有效性。仅使用 5 个 NFE,我们在 CIFAR-10 上实现了 6.61 FID,在 ImageNet 64×64 上实现了 10.74 FID,在 LSUN Bedroom 上实现了 13.20 FID。我们的代码可在 https://github.com/zju-pi/diff-sampler 获取。
大型语言模型 (LLM) 已经取代了众多自然语言处理任务中的传统方法。然而,在命名实体识别 (NER) 中,现有的基于 LLM 的方法……
近年来,研究表明将强化学习 (RL) 与移动目标防御 (MTD) 相结合可以增强物联网 (IoT) 设备的网络安全。然而,现有工作的实用性受到 RL 中集中式数据处理带来的数据隐私问题以及学习针对日益增多的异构零日攻击的有效 MTD 技术所需的不理想时间限制。因此,本文提出了 CyberForce,这是一个将联邦学习和强化学习 (FRL) 相结合的框架,用于协作且私密地学习适合减轻零日攻击的 MTD 技术。CyberForce 集成了设备指纹识别和异常检测,以奖励或惩罚由基于 FRL 的代理选择的 MTD 机制。该框架已部署并在一个场景中进行了评估,该场景包含十个受异构恶意软件样本影响的真实物联网平台的物理设备。一组实验表明,CyberForce 比现有的基于 RL 的集中式方法更快地学习到减轻每种攻击的 MTD 技术。此外,当各种设备暴露于不同的攻击时,CyberForce 从知识转移中获益,与最近的工作相比,性能得到增强,学习时间减少。最后,在代理学习过程中使用的不同聚合算法使 CyberForce 对恶意攻击具有显着的鲁棒性。
随着视觉语言模型在各种下游任务中的广泛应用,评估其鲁棒性至关重要。本文提出了一种用于评估视觉语言模型鲁棒性的基准。我们认为,一个鲁棒的模型应该能够正确理解语言和视觉语义,并能抵抗显式变化。为了实现这一目标,我们对 MS-COCO 测试集中的文本和图像创建了新的变体,并使用新数据重新评估了最先进 (SOTA) 模型。具体来说,我们通过替换一个词来改变文本的含义,并通过图像混合技术生成视觉上改变的图像,这些图像保留了一些视觉上下文,同时引入明显的像素变化。我们对所提出的基准的评估表明,许多 SOTA 模型的性能大幅下降(例如,BLIP 的图像到文本召回率@1:81.9% $\rightarrow$ 48.4%,VSE$\infty$ 的图像到文本召回率@1:66.1% $\rightarrow$ 37.6%),模型往往偏向于改变后的文本/图像而不是原始文本/图像。这表明目前的视觉语言模型难以处理细微的变化,并且经常无法理解文本和图像的整体上下文。基于这些发现,我们提出了语义对比损失和视觉对比损失来学习更鲁棒的嵌入。数据集和代码可在 {\url{https://github.com/pseulki/rococo}} 获取。
随着大型语言模型(LLM)能力的不断提升,上下文学习(ICL)已成为自然语言处理(NLP)领域的一种新范式,其中 LLM 基于包含少量示例的上下文进行预测。探索 ICL 以评估和推断 LLM 的能力已成为一项重要趋势。本文旨在综述和总结 ICL 的进展和挑战。首先,我们对 ICL 给出了一个正式定义,并阐明了它与相关研究之间的关系。然后,我们组织并讨论了先进的技术,包括训练策略、提示设计策略和相关分析。此外,我们还探讨了 ICL 的各种应用场景,例如数据工程和知识更新。最后,我们探讨了 ICL 的挑战,并提出了未来研究的潜在方向。我们希望我们的工作能够鼓励更多关于 ICL 工作原理和改进 ICL 的研究。
人工智能(AI)与移动应用的整合已显著改变了多个领域,通过先进的机器学习(ML)和深度学习(DL)技术,增强了用户体验并提供了个性化服务。AI驱动的移动应用程序通常指利用ML/DL技术来执行关键任务(例如图像识别和自然语言处理)的应用程序。本文对AI应用进行了最广泛的实证研究,探索了设备上的ML应用、设备上的DL应用以及AI服务支持(基于云)的应用。我们的研究涵盖了56,682个真实世界的AI应用,重点关注三个关键视角:1)应用分析,我们分析了AI应用的普及率并调查了AI应用的更新状态;2)框架和模型分析,我们分析了AI框架的使用情况和AI模型保护;3)用户分析,我们检查了用户隐私保护和用户评价态度。我们的研究对AI应用开发人员、用户和AI研发具有重要意义。一方面,我们的发现突出了AI在移动应用中整合的增长趋势,证明了各种AI框架和模型的广泛采用。另一方面,我们的发现强调了加强应用安全性的稳健模型保护的必要性。此外,我们的研究强调了用户隐私的重要性,并展示了用户对当前AI应用中使用的AI技术的看法。我们提供我们的AI应用数据集(目前是最广泛的AI应用数据集)作为开源资源,用于未来关于移动应用中使用的AI技术的相关研究。