天气预报是预测和减轻气候变化影响的一项基本问题。最近，基于深度学习的数据驱动的天气预报方法显示出巨大的潜力，其准确性可与业务系统相媲美。然而，这些方法通常采用复杂且定制化的架构，缺乏充分的消融分析，难以理解其成功的真正原因。在这里，我们介绍Stormer，这是一个简单的Transformer模型，它通过对标准Transformer主干进行最小的修改，在天气预报方面取得了最先进的性能。我们通过仔细的实证分析确定了Stormer的关键组成部分，包括特定于天气的嵌入、随机动力学预测和压力加权损失。Stormer的核心是一个随机预测目标，该目标训练模型以预测不同时间间隔内的天气动力学。在推理过程中，这允许我们针对目标提前期生成多个预测，并将它们组合起来以获得更好的预测精度。在WeatherBench 2上，Stormer在短期到中期预报中的表现具有竞争力，并且在7天以后的表现优于现有方法，同时所需的训练数据和计算量减少了几个数量级。此外，我们还证明了Stormer良好的扩展特性，显示出随着模型规模和训练标记的增加，预测精度持续提高。代码和检查点可在https://github.com/tung-nd/stormer获取。
时间序列预测在科学和工业领域都具有重要意义。尽管预测方法被广泛应用，但旨在理解这些方法在何种条件下表现良好或不良的研究却很少。虽然经验研究很常见，但由于时间序列数据集的有限性，限制了可靠见解的提取。为了解决这一限制，我们提出了tsMorph，这是一种通过数据集变形生成半合成时间序列的工具。tsMorph通过从两个原始数据集创建一系列数据集来工作。生成的数据集的特征逐渐偏离其中一个数据集的特征，并趋向于另一个数据集的属性。这种方法为获得大量数据集提供了一种有价值的替代方案。在本文中，我们通过评估长短期记忆网络和DeepAR预测算法的预测性能，展示了tsMorph的优势。实验使用的数据序列来自NN5竞赛。实验结果提供了重要的见解。值得注意的是，两种算法的性能都随着时间序列频率的增加而提高。这些实验证实，tsMorph可以成为更好地理解预测算法行为的有效工具，为克服经验研究的局限性并进行更广泛和可靠的实验提供途径。
机器学习预测的公平性由于法律、伦理和社会原因在实践中被广泛要求。现有工作通常关注没有未观察到的混杂因素的环境，即使未观察到的混杂因素可能导致严重违反因果公平性，从而导致不公平的预测。在这项工作中，我们分析了因果公平性对未观察到的混杂因素的敏感性。我们的贡献有三方面。首先，我们推导了不同来源的未观察到的混杂因素下因果公平性指标的界限。这使从业人员能够检查其机器学习模型在公平性关键应用中对未观察到的混杂因素的敏感性。其次，我们提出了一种新的神经网络框架来学习公平预测，这使我们能够提供因果公平性可能因未观察到的混杂因素而被违反的程度的最坏情况保证。第三，我们在一系列实验中证明了我们框架的有效性，包括一个关于预测监狱判决的真实案例研究。据我们所知，我们是第一个研究未观察到的混杂因素下因果公平性的工作。为此，我们的工作作为一种反驳策略，以确保高风险应用中预测的公平性，具有直接的实用价值。
二进制代码分析是安全领域关键任务的基础；因此，构建有效的二进制分析技术比以往任何时候都更加重要。大型语言模型 (LLM) 虽然为源代码任务带来了令人印象深刻的改进，但由于汇编语言的独特挑战而无法直接推广到汇编代码：(1) 汇编语言的信息密度低，以及 (2) 汇编代码中存在多种优化。为了克服这些挑战，这项工作提出了一种分层注意力机制，该机制构建注意力摘要以更有效地捕获语义，并设计对比学习目标来训练 LLM 以学习汇编优化。借助这些技术，这项工作开发了 Nova，这是一种用于汇编代码的生成式 LLM。Nova 在二进制代码反编译方面的性能优于现有技术，Pass@1 和 Pass@10 分别提高了 14.84%–21.58%（绝对百分比改进），并且在最新的二进制代码相似性检测技术方面性能提升高达 6.17% Recall@1，在汇编代码生成和理解任务上都展现出令人鼓舞的能力。
本文介绍了一种名为StochGradAdam的新型优化器，它是Adam算法的扩展，结合了随机梯度采样技术，在保持鲁棒性能的同时提高了计算效率。StochGradAdam通过选择性地采样训练过程中的部分梯度进行优化，降低了计算成本，同时保留了Adam中自适应学习率和偏差校正的优点。我们在图像分类和分割任务上的实验结果表明，即使每次迭代使用较少的梯度更新，StochGradAdam也能达到与Adam相当甚至更好的性能。通过关注关键梯度更新，StochGradAdam提供了稳定的收敛性和增强的损失函数景观探索能力，同时减轻了噪声梯度的影响。结果表明，这种方法对于大型模型和数据集尤其有效，为深度学习应用中的传统优化技术提供了一种有前景的替代方案。
联邦学习 (FL) 旨在利用多方私有数据构建模型，各参与方保留对其数据的独有控制权，同时通过资源共享提升模型精度。近期提出的神经图模型 (NGM) 是一种概率图模型，它利用神经网络强大的表达能力来学习输入特征之间复杂的非线性依赖关系。它们能够学习捕捉底层数据分布，并具有高效的推理和采样算法。我们开发了一个 FL 框架，该框架维护一个全局 NGM 模型，该模型学习来自本地 NGM 模型的平均信息，同时将训练数据保留在客户端环境中。我们的设计 FedNGMs 避免了像联邦匹配平均 (Federated Matched Averaging) 这样的神经元匹配框架的缺陷和不足，后者存在模型参数爆炸的问题。我们的全局模型大小在整个过程中保持不变。对于客户端拥有不在组合全局分布中的局部变量的情况，我们提出了一种“缝合”算法，该算法通过使用客户端数据合并附加变量来个性化全局 NGM 模型。FedNGM 对数据异构性、大量参与者和有限的通信带宽具有鲁棒性。我们通过实验演示了 FedNGMs 在提取疾病控制中心 (CDC) 婴儿死亡率数据集中的见解的应用，并讨论了未来一些有趣的应用。
深度强化学习 (DRL) 在自动驾驶、医疗保健和机器人技术等诸多领域取得了显著进展，它使智能体能够通过与环境交互来学习最优策略。然而，DRL 在安全关键领域的应用面临挑战，尤其是在学习策略的安全方面。专注于最大化奖励的 DRL 智能体可能会选择不安全的动作，导致安全违规。因此，运行时安全监控对于确保这些智能体的安全运行至关重要，尤其是在不可预测和动态的环境中。本文介绍了 SMARLA，这是一种专门为 DRL 智能体设计的黑盒安全监控方法。SMARLA 利用机器学习通过观察智能体在执行过程中的行为来预测安全违规。该方法基于 Q 值，Q 值反映了在特定状态下采取行动的预期奖励。SMARLA 采用状态抽象来降低状态空间的复杂性，从而增强监控模型的预测能力。这种抽象能够尽早检测到不安全状态，从而能够在事故发生之前采取纠正和预防措施。我们在深度强化学习研究中广泛使用的三个知名案例研究中对 SMARLA 进行了定量和定性验证。实证结果表明，SMARLA 在预测安全违规方面准确率很高，误报率低，并且可以在违规发生之前，大约在智能体执行过程的一半时就能预测违规。我们还讨论了基于预测违规概率置信区间的不同决策标准，以触发旨在权衡早期检测和低误报率的安全机制。
持续学习 (CL) 是连续学习一系列任务的过程。大多数现有的 CL 方法处理的是独立数据（例如，图像和文本），针对这些数据，许多基准框架和结果都在标准实验设置下可用。然而，与之相比，图数据的 CL 方法（图 CL）相对较少被探索，这是因为：(a) 缺乏标准的实验设置，尤其是在如何处理实例之间依赖性方面；(b) 缺乏基准数据集和场景；以及 (c) 由于依赖性导致实现和评估的复杂性高。在本文中，关于 (a)，我们为节点、链接和图级别的三个问题定义了四个标准增量设置（任务增量、类别增量、领域增量和时间增量），扩展了先前探索的范围。关于 (b)，我们基于 24 个真实世界的图提供了 35 个基准场景。关于 (c)，我们开发了 BeGin，这是一个简单易用且可靠的图 CL 框架。BeGin 易于扩展，因为它模块化，具有可重用的数据处理、算法设计和评估模块。特别是，评估模块与用户代码完全分离，以消除潜在的错误。关于基准结果，我们涵盖的增量设置和问题级别的组合数量比最新的基准多 3 倍。基准框架的所有资源都可在 https://github.com/ShinhwanKang/BeGin 公开获取。
基于深度学习模型的心电图(ECG)心律失常检测性能已得到显著提升。然而，仅有高性能是不够的，还需要适当的解释。近期，研究人员开始采用特征归因方法来满足这一需求，但尚不清楚哪些方法适用于ECG。本研究基于ECG的特性，确定并定制了三个用于评估特征归因方法的指标：定位分数、指向游戏和降级分数。利用这三个指标，我们评估和分析了十一种广泛使用的特征归因方法。我们发现，一些特征归因方法更适合解释ECG，其中Grad-CAM的性能远超第二好的方法。
目的：随着现实世界数据库的指数级增长，处理异构和混合数据类型变得越来越重要。虽然深度生成模型试图将不同的数据视图合并到一个共同的潜在空间中，但它们往往牺牲了可解释性、灵活性和模块化。本研究提出了一种新方法，通过将变分自动编码器 (VAE) 与因子分析潜在空间 (FA-VAE) 相结合来解决这些限制。
方法：提出的 FA-VAE 方法采用多个 VAE 来学习连续潜在空间中每个异构数据视图的私有表示。使用通过线性投影矩阵生成的低维潜在空间在视图之间共享信息。这种模块化设计在私有和共享潜在空间之间创建了分层依赖关系，允许灵活添加新视图和调节预训练模型。
结果：FA-VAE 方法促进了不同领域的数据交叉生成，并实现了生成模型之间的迁移学习。这允许有效地整合来自不同数据视图的信息，同时保留其独特的特征。
结论：通过克服现有方法的局限性，FA-VAE 为管理异构数据类型提供了一种更可解释、更灵活和更模块化的解决方案。它为更有效和可扩展的数据处理策略提供了一条途径，增强了跨域数据合成和模型可转移性的潜力。