基础语言模型的部署通常包括辅助的安全模型来过滤或分类文本，检测越狱尝试、偏见或有毒输出，或确保主题一致性。这些额外的模型增加了模型推理的复杂性和成本，尤其是因为许多模型也是大型语言模型。为了解决这个问题，我们探索了无训练模型合并技术，将这些模型合并成一个单一的、多功能的模型。我们提出了异构多类模型合并 (HM3) 作为一种简单技术，用于合并具有异构标签空间的多类分类器。与 LoRA 等参数高效微调技术不同，LoRA 需要大量训练，并在推理过程中增加复杂性，最近的进展允许模型以无训练的方式合并。我们报告了合并基于 BERT 的安全模型的有希望的结果，其中一些模型的平均 F1 分数高于源模型，同时推理时间减少了 44%。我们引入了自合并来评估任务向量密度降低的影响，发现表现较差的仇恨言论分类器从自合并中受益，而表现较好的分类器则没有，这引发了关于使用任务向量缩减进行模型调优的疑问。
扩散模型在图像质量和对文本提示的保真度方面取得了显著进展。与此同时，此类生成模型的安全问题也日益受到关注。这项工作介绍了一种新型的越狱攻击，它会触发 T2I 模型生成带有视觉文本的图像，其中图像和文本在孤立的情况下被认为是安全的，但组合在一起会形成不安全的内容。为了系统地探索这种现象，我们提出了一个数据集来评估当前基于扩散的文本到图像 (T2I) 模型在这样的越狱攻击下的表现。我们对九个代表性的 T2I 模型进行了基准测试，包括两个闭源商业模型。实验结果揭示了一种令人担忧的趋势，即生成不安全内容：所有测试的模型都遭受了这种类型的越狱攻击，不安全生成率从 8% 到 74% 不等。在现实世界场景中，通常会采用各种过滤器，如关键词黑名单、自定义提示过滤器和 NSFW 图像过滤器，来减轻这些风险。我们评估了这些过滤器针对我们越狱攻击的有效性，发现虽然当前的分类器可能对单一模态检测有效，但它们无法抵御我们的越狱攻击。我们的工作为进一步发展更安全可靠的 T2I 模型奠定了基础。
人群计数是一个基础性课题，旨在估计监控摄像头提供的拥挤图像或视频中的人数。最近的工作集中在提高计数精度，而忽略了计数模型的认证鲁棒性。本文提出了一种用于鲁棒人群计数的新型边界收紧网络 (BTN)。它由三个部分组成：基础模型、平滑正则化模块和认证边界模块。核心思想是通过基础模型传播区间边界（认证边界模块），并利用层权重（平滑正则化模块）来引导网络学习。在不同人群计数基准数据集上的实验表明了 BTN 的有效性和效率。
旨在预测用户将与之交互的下一个项目的顺序推荐任务，通常依赖于仅在历史数据上训练的模型。然而，在现实世界场景中，用户行为在长交互序列中可能会发生波动，并且训练数据可能不足以模拟这种动态变化。为了解决这个问题，测试时训练 (TTT) 提供了一种新方法，通过在推理期间使用自监督学习来动态更新模型参数。这使得模型能够实时地适应新的用户交互，从而产生更准确的推荐。在本文中，我们提出了 TTT4Rec，这是一个将 TTT 集成的顺序推荐框架，以更好地捕捉动态用户行为。通过在推理期间不断更新模型参数，TTT4Rec 在用户交互序列较长、训练数据有限或用户行为高度可变的情况下尤其有效。我们在三个广泛使用的推荐数据集上评估了 TTT4Rec，结果表明它达到了与最先进模型相当或超过其性能。代码可在 https://github.com/ZhaoqiZachYang/TTT4Rec 获取。
仅通过查询访问推断神经网络的精确参数是一个 NP-Hard 问题，现有的实用算法很少。解决这个问题将对安全、验证、可解释性和生物网络的理解产生重大影响。主要挑战在于巨大的参数空间以及神经元之间复杂的非线性关系。我们利用两个见解来解决这些挑战。首先，我们观察到，在实践中使用的大多数网络都是通过随机初始化和一阶优化生成的，这是一种归纳偏差，它极大地减少了实际参数空间。其次，我们提出了一种新颖的查询生成算法，该算法可以生成信息量最大的样本，使我们能够有效地解开非线性关系。我们证明了重建了一个包含超过 150 万个参数的隐藏网络，以及一个深度为 7 层的网络，这是迄今为止最大和最深的重建，最大参数差异小于 0.0001，并说明了在各种架构、数据集和训练程序中的鲁棒性和可扩展性。
传统的轨迹数据理解、建模和挖掘研究主要集中在个体停留的位置，即用户去过哪里。然而，研究用户在不同地点之间的移动方式蕴藏着巨大的研究潜力。运动学特征描述了个体在不同地点之间的移动方式，可用于识别个人或异常检测等任务。然而，数据可用性和质量挑战使得运动学轨迹挖掘变得困难。本文利用 Geolife 人类轨迹数据集，研究使用运动学特征识别个人和检测异常的可行性。我们发现人类拥有独特的“运动学特征”，可以作为识别个人的强信号。通过实验表明，对于个人识别和异常检测这两个用例，将简单的运动学特征输入到标准分类和异常检测算法中，可以显著提高结果。
神经影像技术，包括功能性磁共振成像 (fMRI) 和脑电图 (EEG)，在检测各种脑部疾病的功能异常方面已显示出巨大潜力。然而，现有研究往往集中于单一领域或模态，忽略了来自 fMRI 和 EEG 多个领域的有价值的互补信息，而这些信息对于全面呈现疾病病理至关重要。这种局限性给有效利用从这些模态中提取的协同信息带来了挑战。为了解决这个问题，我们提出了一种多模态跨域自监督预训练模型 (MCSP)，这是一种新颖的方法，利用自监督学习来协同空间、时间和频谱域的多模态信息。我们的模型采用跨域自监督损失，通过实施特定于域的数据增强和对比损失来弥合域差异，增强特征区分。此外，MCSP 引入了跨模态自监督损失，以利用 fMRI 和 EEG 的互补信息，促进域内知识蒸馏并最大限度地提高跨模态特征收敛。我们构建了一个大规模的预训练数据集，并通过利用提出的自监督范式来预训练 MCSP 模型，以充分利用多模态神经影像数据。通过全面的实验，我们证明了我们的模型在多个分类任务上的卓越性能和泛化能力。我们的研究在 fMRI 和 EEG 的融合方面取得了重大进展，标志着跨域特征的新型整合，这丰富了现有的神经影像研究领域，尤其是在精神疾病研究的背景下。
随着生成式人工智能工具的使用量激增，大量敏感信息暴露于这些模型和集中式模型提供商手中，令人担忧。例如，三星的机密源代码因 ChatGPT 的文本提示遭遇数据泄露而遭受数据泄露。越来越多的公司（如苹果、Verizon、摩根大通等）因数据泄露或保密问题而限制使用大型语言模型。此外，越来越多的集中式生成模型提供商正在限制、过滤、调整或审查可以使用的内容。Midjourney 和 RunwayML 是两个主要的图像生成平台，它们通过提示过滤限制对系统的提示。某些政治人物以及与女性健康保健、权利和堕胎相关的词语都被禁止生成图像。
在我们的研究中，我们提出了一种安全私密的生成式人工智能方法，该方法不会将敏感数据或模型暴露给第三方人工智能提供商。我们的工作修改了现代生成式人工智能算法的关键组成部分，例如 Transformer，并在去中心化网络中引入了机密且可验证的多方计算，以维护 1) 用户输入的隐私和对模型输出的混淆，以及 2) 对模型本身的隐私。此外，分片过程减少了任何一个节点的计算负担，从而能够将大型生成式人工智能过程的资源分布到多个较小的节点上。我们证明，只要去中心化计算中存在一个诚实的节点，安全就能得到维护。我们还证明，如果计算中只有大多数节点成功，推理过程仍然会成功。因此，我们的方法在去中心化网络中提供了安全且可验证的计算。
人工智能的快速发展促使人们越来越重视其在开发和实践中的伦理考量。这导致了越来越复杂的模型审计和报告要求的制定，以及治理框架的建立，以减轻对个人和社会的潜在风险。在这个关键时刻，我们回顾了在支持重要基础设施并得到广泛应用的 OSS 等非正式领域中，促进负责任的人工智能和透明度的实际挑战。我们重点关注模型性能评估如何促进或阻碍对模型局限性、偏差和其他风险的探究。我们对 7903 个 Hugging Face 项目的受控分析发现，风险记录与评估实践密切相关。然而，来自该平台最受欢迎的竞争排行榜的提交（N=789）表明，高绩效者在问责方面较差。我们的发现可以为人工智能提供者和法律学者提供信息，帮助他们设计干预措施和政策，既能保留开源创新，又能激励负责任的采用。
语音病理学对交流能力和生活质量有影响。虽然基于深度学习的模型在诊断这些疾病方面显示出潜力，但敏感数据的应用引发了重大的隐私问题。尽管同样存在着重大的隐私问题，但差分隐私 (DP) 在医学影像领域得到了探索，但在病理语音分析中的应用却鲜有研究。本研究首次调查了 DP 对病理语音数据的影响，重点关注隐私、诊断准确性和公平性之间的权衡。使用来自 2,839 位德语使用者的大型真实世界数据集（200 小时录音），我们观察到，当使用隐私预算（用 {\epsilon} 表示）为 7.51 的 DP 进行训练时，准确率最大降低了 3.85%。为了概括我们的发现，我们在西班牙语帕金森病患者的小型数据集上验证了我们的方法，表明在大型特定任务数据集上进行仔细的预训练可以在 DP 约束下保持甚至提高模型准确率。我们还进行了全面的公平性分析，结果表明合理的隐私级别 (2<{\epsilon}<10) 不会引入显著的性别偏差，但与年龄相关的差异可能需要进一步关注。我们的结果表明，DP 可以有效地平衡语音障碍检测中的隐私和效用，但也突出了语音领域独特的挑战，特别是在隐私-公平性权衡方面。这为未来的工作奠定了基础，以便改进 DP 方法，并在实际部署中解决不同患者群体之间的公平性问题。