无监督领域自适应（UDA）旨在通过解决领域偏移问题，将训练于标记源域的模型适应于未标记目标域。现有的无监督领域自适应（UDA）方法往往无法充分利用目标域的上下文信息，导致源域和目标域对齐过程中的决策边界分离效果不佳。为了解决这一问题，我们引入了GrabDAE，这是一个创新的UDA框架，旨在解决视觉分类任务中的领域偏移问题。GrabDAE包含两个关键创新：Grab-Mask模块，它模糊目标域图像中的背景信息，使模型能够通过对比学习关注重要的、与领域相关的特征；以及去噪自动编码器（DAE），它通过重建特征和过滤噪声来增强特征对齐，确保更稳健地适应目标域。这些组件使GrabDAE能够有效地处理未标记的目标域数据，显著提高分类准确率和鲁棒性。在VisDA-2017、Office-Home和Office31等基准数据集上的大量实验表明，GrabDAE始终优于最先进的UDA方法，设定了新的性能基准。通过其新颖的特征掩蔽和去噪方法来解决UDA的关键挑战，GrabDAE在领域自适应方面提供了重大的理论和实践进步。
近年来，微调语言模型的努力通常依赖于自动数据选择，通常使用来自大型数据集的最近邻检索。然而，我们从理论上证明，这种方法往往会选择冗余数据，从而限制其有效性，甚至损害性能。为了解决这个问题，我们引入了 SIFT，一种旨在减少模型对提示响应的不确定性的数据选择算法，它将检索和主动学习的思想统一起来。虽然最近邻检索在存在信息重复的情况下通常会失败，但 SIFT 会考虑信息重复并优化所选样本的整体信息增益。我们将评估重点放在 Pile 数据集上的提示特定语言建模的测试时微调上，并表明 SIFT 始终优于最近邻检索，且计算开销最小。此外，我们表明我们的不确定性估计可以预测测试时微调的性能增益，并利用它来开发一种自适应算法，该算法根据实现的性能增益来分配测试时计算。我们提供了 $\texttt{activeft}$（主动微调）库，它可以作为最近邻检索的直接替换。
为了满足在多样化且动态环境中运行的通用机器人系统的日益增长的需求，通用策略的重要性日益凸显，该策略利用大型跨嵌入数据语料库来促进广泛的适应性和高级推理。然而，通用策略将面临推理效率低和训练成本高昂的挑战。相反，专家策略针对特定领域数据进行定制，并在效率方面擅长任务级精度。然而，它缺乏针对各种应用的泛化能力。受这些观察结果的启发，我们引入了 RoboDual，这是一种协同的双系统，它补充了通用策略和专家策略的优点。基于扩散变压器的专家被设计用于多步动作展开，它巧妙地以基于视觉-语言-动作 (VLA) 的通用策略的高级任务理解和离散动作输出为条件。与 OpenVLA 相比，RoboDual 在真实世界环境中实现了 26.7% 的改进，在 CALVIN 上实现了 12% 的提升，仅通过引入具有 2000 万个可训练参数的专家策略。它仅使用 5% 的演示数据就能保持强大的性能，并在实际部署中实现了 3.8 倍的控制频率。代码将公开提供。我们的项目页面位于：https://opendrivelab.com/RoboDual/
大型语言模型（LLM）已取代传统方法，在众多自然语言处理任务中占据主导地位。然而，在命名实体识别（NER）领域，现有的基于LLM的方法...
本研究提出了一种基于Transformer的简单基线方法，用于多模态分子表示学习，该方法整合了三种不同的模态：SMILES字符串、2D图表示和3D分子构象。我们的方法的关键在于对3D构象的聚合，使模型能够考虑分子可以采用多种构象这一事实，这对准确的分子表示至关重要。每种模态的token通过特定模态的编码器提取：Transformer用于SMILES字符串，消息传递神经网络用于2D图，等变神经网络用于3D构象。该框架的灵活性和模块化特性使得这些编码器能够轻松地适应和替换，从而使模型能够高度灵活地适应不同的分子任务。提取的token随后被组合成一个统一的多模态序列，该序列由下游Transformer处理以进行预测任务。为了有效地扩展我们的模型以处理大型多模态数据集，我们使用了Flash Attention 2和bfloat16精度。尽管方法简单，但我们的方法在多个数据集上都取得了最先进的结果，证明了其作为多模态分子表示学习的强大基线的有效性。
开发先进的量子-经典算法是量子计算中最突出的策略之一。近年来，出现了许多混合求解器。其中许多方法都是针对特定用例而专门设计的。然而，一些成熟的方案经常被用于解决优化问题。在此背景下，D-Wave 于 2020 年推出了混合求解器服务，提供了一系列旨在加速求解时间的方法，帮助用户优化性能和运营流程。最近，一种新的技术被添加到该组合中：非线性规划混合求解器。本文介绍了该求解器，并通过对三个组合优化问题（旅行商问题、背包问题和最大割问题）的 45 个实例进行基准测试来评估其性能。为了便于使用这种相对未开发的求解器，我们提供了用于解决这三个优化问题的实现细节。
在动力系统中，稀有事件采样是一个基本问题，它出现在自然科学领域，由于轨迹空间呈指数级增长，因此带来了巨大的计算挑战。对于感兴趣的动力系统遵循已知漂移的布朗运动的情况，通过 Doob 的 h-变换可以明确地回答将过程条件化为到达给定终点或所需稀有事件的问题。然而，这种变换的朴素估计是不可行的，因为它需要模拟足够多的正向轨迹来估计稀有事件概率。在这项工作中，我们提出了一种 Doob 的 h-变换的变分公式，将其作为从给定初始点到所需结束点之间的轨迹上的优化问题。为了解决这个优化问题，我们提出了一种无模拟训练目标，其模型参数化通过设计强制执行所需的边界条件。我们的方法显著减少了轨迹上的搜索空间，并避免了现有方法中所需的昂贵轨迹模拟和低效的重要性采样估计器。我们展示了我们的方法能够在现实世界的分子模拟和蛋白质折叠任务中找到可行的过渡路径。
近年来机器学习的进步导致神经网络在各种任务中的应用激增，但缺乏可解释性仍然是许多其他任务中存在的问题，在这些任务中，需要理解影响预测的特征以确保公平性、安全性以及法律合规性。本文考虑了这类任务中的一种，即表格数据集分类，并提出了一种新颖的神经符号架构，即神经推理网络 (NRN)，它可扩展且能够为其预测生成逻辑上合理的文本解释。NRN 是逻辑神经元的连接层，这些神经元实现了一种实值逻辑形式。训练算法 (R-NRN) 使用带有反向传播的梯度下降优化来学习网络的权重，但它也使用基于 bandit 的优化来学习网络结构本身。两者都在 PyTorch 的扩展中实现 (https://github.com/IBM/torchlogic)，该扩展充分利用了 GPU 扩展和批处理训练。对 22 个用于表格分类的不同开源数据集进行评估表明，性能（以 ROC AUC 衡量）优于多层感知器 (MLP)，并且在统计上与其他最先进的方法（如随机森林、XGBoost 和梯度提升树）相似，同时平均提供 43% 的更快训练速度以及参数数量减少两个数量级以上。此外，R-NRN 解释比所比较的方法更短，同时生成更准确的特征重要性分数。
欧盟人工智能法案（AI法案）是朝着负责任的人工智能发展迈出的重要一步，但缺乏明确的技术解释，这使得评估模型的合规性变得困难。本工作提出了COMPL-AI，一个全面的框架，包括：（i）对欧盟AI法案的首次技术解读，将该法案的广泛监管要求转化为可衡量的技术要求，重点关注大型语言模型（LLM），以及（ii）一个基于对最先进的LLM基准进行全面调查和实施的开源、以法案为中心的基准测试套件。通过在COMPL-AI的背景下评估12种著名的LLM，我们揭示了现有模型和基准的不足，特别是在稳健性、安全性、多样性和公平性等方面。这项工作强调了需要将重点转向这些方面，鼓励平衡地开发LLM和更全面的与法规一致的基准测试。同时，COMPL-AI首次展示了将法案的义务提升到更具体、更技术层面的可能性和困难。因此，我们的工作可以作为对模型提供者提出可操作建议的第一个有用步骤，并有助于欧盟正在进行的努力，例如起草GPAI行为准则，以实现该法案的应用。
分层强化学习 (HRL) 通过将复杂任务分解为结构化的策略来有效地解决这些任务。然而，HRL 智能体在高效探索和快速适应方面往往面临挑战。为了解决这个问题，我们将元学习整合到 HRL 中，以增强智能体快速学习和适应分层策略的能力。我们的方法利用元学习，基于先前的经验进行快速的任务适应，而内在动机机制通过奖励新状态访问来鼓励高效探索。具体来说，我们的智能体使用高级策略在多个低级策略之间进行选择，这些低级策略在自定义网格环境中运行。我们利用基于梯度的元学习，通过可微分的内循环更新，能够跨越一系列越来越困难的任务进行优化。实验结果表明，我们的元学习分层智能体明显优于没有元学习和内在动机的传统 HRL 智能体。该智能体在复杂网格环境中表现出加速学习、更高的累积奖励和更高的成功率。这些发现表明，将元学习与 HRL 整合，以及课程学习和内在动机，极大地增强了智能体处理复杂任务的能力。