预训练模型（例如CLIP）的快速发展和日益增长的复杂性，为联邦学习（FL）——隐私保护人工智能的关键组成部分——带来了巨大的机遇和挑战。本研究深入探讨了在FL框架中集成大型基础模型（如CLIP）以增强隐私、效率和跨异构数据环境的自适应性的复杂性。它特别关注非独立同分布（Non-IID）数据分布带来的挑战、利用此类复杂模型的计算和通信开销，以及数据集中类别的倾斜表示。我们提出了TriplePlay框架，该框架将CLIP集成作为适配器，以增强FL在不同数据分布下的适应性和性能。这种方法解决了长尾分布挑战，以确保公平性，同时通过量化和低秩自适应技术来减少资源需求。我们的仿真结果表明，TriplePlay有效地降低了GPU使用成本并加快了学习过程，在减少通信开销的情况下实现了收敛。
利用深度强化学习挖掘阿尔法因子的目标是从资产的历史金融市场数据中发现投资机会的指示性信号，这些信号可用于预测资产回报并获得超额利润。最近，一个利用深度强化学习生成公式化阿尔法因子的框架被提出，并迅速成为学术界和产业界的关注焦点。本文首先论证了最初采用的策略训练方法，即近端策略优化 (PPO)，在阿尔法因子挖掘的背景下存在几个重要问题，使其无法有效探索公式的搜索空间。在此，我们提出了一种基于著名的REINFORCE算法的新型强化学习方法。鉴于底层状态转移函数遵循狄拉克分布，该框架内的马尔可夫决策过程表现出最小的环境变化，使得REINFORCE算法比PPO更合适。我们设计了一种新的专用基线，从理论上减少了REINFORCE算法普遍存在的方差问题。此外，引入信息比率作为奖励塑造机制，以鼓励生成能够更好地适应市场波动变化的稳定阿尔法因子。对各种真实资产数据的实验评估表明，与最新的阿尔法因子挖掘方法相比，该算法可以将与资产收益的相关性提高3.83%，并具有更强的获得超额收益的能力，这与理论结果吻合良好。
基于量子幺正运算的线性性，我们提出一种方法，在编码输入数据之前运行参数化量子电路。这使得数据集所有者能够在量子云计算平台上训练机器学习模型，而无需担心数据信息泄露的风险。它还能够在稍后使用经典计算有效地编码大量数据，从而节省量子计算设备上的运行时间。训练好的量子机器学习模型可以在经典计算机上完全运行，这意味着数据集所有者不需要任何量子硬件，甚至不需要量子模拟器。此外，我们的方法通过将所需的电路深度从O(2ⁿ)降低到O(n)，并放松对编码量子门精度的容忍度，从而减轻了编码瓶颈。这些结果证明了量子和量子启发式机器学习模型相对于现有经典神经网络的另一个优势，并拓宽了数据安全的方法。
检测分布外（OOD）感官数据和协变量分布偏移旨在识别具有不同高层图像统计信息的新的测试样本，这些样本与捕获的、正常的和分布内（ID）集合不同。现有的OOD检测文献主要关注语义偏移，而对协变量偏移几乎没有达成共识。生成模型以无监督的方式捕获ID数据，使它们能够有效地识别与这种学习分布显著偏离的样本，而不管下游任务如何。在这项工作中，我们通过涉及各种模型的广泛分析，阐明了生成模型检测和量化特定领域协变量偏移的能力。为此，我们推测，仅通过对高频信号相关和无关细节建模，就足以检测大多数出现的感官故障（全局信号统计中的异常和偏差）。我们提出了一种新颖的OOD检测方法CovariateFlow，该方法专门针对使用条件归一化流（cNFs）的协变量异方差高频图像组件。我们在CIFAR10与CIFAR10-C和ImageNet200与ImageNet200-C上的结果证明了该方法通过准确检测OOD协变量偏移的有效性。这项工作有助于提高成像系统的保真度，并帮助机器学习模型在存在协变量偏移的情况下进行OOD检测。
骨骼序列作为人类行为的结构化表示，在人类活动识别 (HAR) 中扮演着至关重要的角色。对抗性骨骼序列的可迁移性使得攻击能够在现实世界的 HAR 场景中实现，例如自动驾驶、智能监控和人机交互。然而，大多数现有的基于骨骼的 HAR (S-HAR) 攻击主要针对白盒场景设计，并且对抗性迁移能力较弱，因此不能被认为是真正的基于迁移的 S-HAR 攻击。更重要的是，这种失败的原因尚不清楚。在本文中，我们通过损失曲面的视角研究了这一现象，并发现其锐度导致了 S-HAR 中迁移能力较弱。受此观察的启发，我们假设并实验证明，平滑崎岖的损失景观可以潜在地提高 S-HAR 中的对抗性迁移能力。为此，我们提出了第一个基于迁移的骨骼动作识别攻击方法 TASAR。TASAR 通过新的后训练双贝叶斯优化策略探索平滑的模型后验，而无需替代模型重新训练。此外，与以前将每个帧独立处理并忽略序列中时间一致性的基于迁移的攻击不同，TASAR 将运动动力学融入贝叶斯攻击梯度中，有效地扰乱了 S-HAR 的时空一致性。为了详尽地评估现有方法和我们方法的有效性，我们构建了第一个大规模鲁棒 S-HAR 基准，包括 7 个 S-HAR 模型、10 种攻击方法、3 个 S-HAR 数据集和 2 种防御方法。大量的实验结果证明了 TASAR 的优越性。我们的基准测试方便了未来研究的比较，代码可在补充材料中找到。
利用强大的语言模型（LM）生成高质量的合成数据来提高LM的推理性能是一种常见的策略。在这项工作中，我们重新审视了在固定的推理预算（例如，FLOPs）下，这种策略是否计算最优。为此，我们研究了使用更强大但更昂贵（SE）模型与更弱但更便宜（WC）模型生成合成数据之间的权衡。我们根据三个关键指标评估生成的数据：覆盖率、多样性和误报率，并表明来自WC模型的数据可能具有更高的覆盖率和多样性，但也表现出更高的误报率。然后，我们在不同的设置中对来自SE和WC模型的数据进行LM微调：知识蒸馏、自我改进和一种新颖的弱到强的改进设置，其中较弱的LM教导较强的LM进行推理。我们的研究结果表明，在多个基准测试和多个WC和SE模型的选择中，使用WC生成的数据进行微调的模型始终优于使用SE生成的数据进行训练的模型。这些结果挑战了依赖SE模型进行合成数据生成的普遍做法，表明WC可能是训练高级LM推理器的计算最优方法。
随着对利用物理信息神经网络 (PINNs) 求解偏微分方程的研究日益深入，为了满足科学计算的实际需求，需要更准确、更高效的 PINNs。当前 PINNs 的一个瓶颈是通过自动微分计算高阶导数，这通常需要大量的计算资源。本文重点在于去除空间导数的自动微分，并提出一种基于谱的 神经网络，用乘法代替微分算子。与 PINNs 相比，我们的方法需要的内存更少，训练时间更短。由于谱基的指数收敛性，我们的方法更准确。此外，为了处理物理域和谱域之间的不同情况，我们提供了两种利用其谱信息训练网络的策略。通过一系列全面的实验，我们验证了所提出网络的上述优点。
图神经网络 (GNN) 已成为预测图结构数据结果的有力工具。然而，GNN 的一个显著局限性在于其无法提供稳健的不确定性估计，这削弱了其在错误代价高昂的环境中的可靠性。解决这个问题的一种方法是提供包含真实标签且具有预定义概率裕度的预测集。我们的方法基于一致性预测 (CP)，这是一个有望构建统计稳健预测集或区间的方法框架。主要有两个挑战：首先，对于像图这样的相关数据，当应用于节点分类时，CP 中的关键假设——可交换性——是否仍然成立尚不清楚。其次，即使一致性预测的假设对于一致性链接预测有效，我们也需要确保高效率，即生成的预测集或区间的长度足够小以提供有用的信息。在本文中，我们提出了一种名为鲁棒一致性预测图神经网络 (RoCP-GNN) 的新方法，该方法将一致性预测 (CP) 直接集成到 GNN 训练过程中。该方法生成预测集，而不仅仅是点预测，在仅假设可交换性的前提下，这些预测集在用户定义的置信水平下是有效的。我们的方法使用任何预测性 GNN 模型稳健地预测结果，同时量化基于图的半监督学习 (SSL) 领域内预测的不确定性。实验结果表明，具有大小损失的 GNN 模型在性能上具有统计显著的提高。我们通过将其与各种最先进的 GNN 结合用于节点分类，在标准图基准数据集上验证了我们的方法。代码将在发表后提供。
针对关键结构进行像素级精度的裂缝检测是一项重大挑战，因为现有方法难以有效整合裂缝的局部纹理和像素依赖关系。此外，这些方法通常参数众多，计算需求量大，这使得在边缘控制设备上的部署变得复杂。本文提出了一种阶梯式级联融合裂缝分割网络（CrackSCF），该网络使用最少的计算资源生成高质量的裂缝分割图。我们构建了一个阶梯式级联融合模块，有效地捕捉裂缝的局部模式和像素的长程依赖关系，并能很好地抑制背景噪声。为了减少模型所需的计算资源，我们引入了一个轻量级卷积块，它取代了网络中的所有卷积运算，显著减少了所需的计算量和参数，而不会影响网络的性能。为了评估我们的方法，我们创建了一个具有挑战性的基准数据集TUT，并在该数据集和其他五个公共数据集上进行了实验。实验结果表明，我们的方法比现有方法具有显著优势，尤其是在处理背景噪声干扰和精细裂缝分割方面。在TUT数据集上，F1分数和mIoU分数分别为0.8382和0.8473，达到了最先进的（SOTA）性能，同时所需的计算资源最少。代码和数据集可在https://github.com/Karl1109/CrackSCF获取。
大型语言模型 (LLM) 凭借其卓越的能力正在彻底改变人工智能行业。训练这些模型需要大规模的 GPU 集群和大量的计算时间，这会导致频繁的故障，从而显著增加训练成本。尽管这非常重要，但该领域缺乏评估可靠性的指标。在这项工作中，我们引入了一种名为“训练开销比”（TOR）的新型可靠性指标来评估容错 LLM 训练系统的可靠性。TOR 定义为系统的最佳训练时间与观察到的训练时间的比率，作为用户估计在给定系统上训练 LLM 所需实际时间的实用工具。此外，我们的研究确定了提高可靠性的关键因素，并针对实践中遇到的各种类型的故障提出了 TOR 方程。