密集检索已成为在开放域 NLP 任务中获取相关上下文或世界知识的一种突出方法。当我们在推理时对检索语料库使用学习到的密集检索器时，一个经常被忽视的设计选择是语料库被索引的检索单元，例如文档、段落或句子。我们发现检索单元的选择会显著影响检索和下游任务的性能。与使用段落或句子的典型方法不同，我们引入了用于密集检索的新型检索单元，命题。命题被定义为文本中的原子表达式，每个表达式都封装了一个独特的琐碎事实，并以简洁、自包含的自然语言格式呈现。我们对不同的检索粒度进行了实证比较。我们的实验表明，通过细粒度单元（如命题）对语料库进行索引在检索任务中明显优于段落级单元。此外，使用细粒度检索单元为检索增强语言模型构建提示，在特定计算预算下提高了下游 QA 任务的性能。
大型语言模型 (LLM) 在文本生成方面展现出强大的能力。然而，在给定提示或指令的情况下获得最佳结果可能具有挑战性，特别是对于数十亿规模的模型。此外，还可能出现诸如毒性或幻觉等不良行为。虽然更大的模型（例如，ChatGPT）可能在缓解这些问题方面表现出优势，但仍不能完全保证预防。在这项工作中，我们建议将文本生成形式化为一个受未来约束的生成问题，以最大程度地减少不良行为并强制执行对指令的忠实度。使用 LLM 完成的未来约束满足估计引导文本生成过程。我们广泛的实验证明了所提方法在三种不同的文本生成任务中的有效性：关键字约束生成 (Lin 等人，2020)、毒性减少 (Gehman 等人，2020) 以及问答中的事实正确性 (Gao 等人，2023)。
近年来，去噪扩散模型的研究将其应用扩展到了图像恢复领域。传统的基于扩散的图像恢复方法利用退化图像作为条件输入来有效地引导逆向生成过程，而没有修改原始去噪扩散过程。然而，由于退化图像已经包含低频信息，从高斯白噪声开始会导致采样步骤增加。我们提出了Resfusion，一个将残差项融入扩散正向过程的通用框架，从噪声退化图像直接开始逆向过程。我们的推理过程形式与DDPM一致。我们引入了一种名为resnoise的加权残差噪声作为预测目标，并明确提供了残差项与resnoise中噪声项之间的定量关系。通过利用平滑等效变换，Resfusion确定了最佳加速步骤，并保持了现有噪声计划的完整性，统一了训练和推理过程。实验结果表明，Resfusion在ISTD数据集、LOL数据集和Raindrop数据集上仅用五个采样步骤就表现出具有竞争力的性能。此外，Resfusion可以轻松应用于图像生成，并展现出强大的通用性。我们的代码和模型可在https://github.com/nkicsl/Resfusion获取。
我们能否在保留神经模型准确性的同时，为模型对训练数据的决策提供忠实的解释？我们提出了一种“包装盒”管道：像往常一样训练神经模型，然后在经典的可解释模型中使用其学习到的特征表示来进行预测。我们首先在七个不同规模的语言模型（包括四个大型语言模型 (LLM)）、两个不同规模的数据集、三个经典模型和四个评估指标上证明了包装经典模型的预测性能与原始神经模型基本相当。
由于经典模型是透明的，因此每个模型决策都是由一组已知的训练示例决定的，这些示例可以直接向用户展示。因此，我们的管道保留了神经语言模型的预测性能，同时将经典模型决策忠实地归因于训练数据。在其他用例中，这种归因使模型决策能够根据负责任的训练实例进行争议。与之前的工作相比，我们的方法在识别哪些训练数据需要删除以改变模型决策方面实现了更高的覆盖率和正确性。为了重现研究结果，我们的源代码已在线发布：https://github.com/SamSoup/WrapperBox。
为了有效地将大型语言模型（LLMs）应用于现实世界中的查询，它们必须能够泛化到长尾分布，即模型表现出低置信度的罕见示例。在这项工作中，我们迈出了第一步，旨在评估 LLMs 在推理知识的长尾分布中的表现。我们以自然语言推理任务为例，对长尾评估进行了说明。首先，我们引入了逻辑诱导知识搜索（LINK），这是一个系统性的长尾数据生成框架，用于获取事实正确但属于长尾的推理语句。LINK 使用基于符号规则的变量级提示来寻找低置信度语句，同时确保其事实正确性。然后，我们使用 LINK 构建了逻辑诱导长尾（LINT），一个包含 108K 条语句的跨越四个领域的，大规模长尾推理知识数据集。我们在 LINT 上评估了流行的 LLMs；我们发现，与头部分布数据相比，最先进的 LLMs 在长尾数据上表现出显著的性能下降（GPT4 相对下降 21%），而更小的模型则表现出更强的泛化弱点。这些结果进一步强调了在开发可泛化的 LLMs 中进行长尾评估的必要性。
联邦学习（FL）系统容易受到对抗性攻击，恶意客户端会提交中毒模型来破坏收敛或植入后门，导致全局模型错误分类某些样本。当前的防御方法在现实世界的 FL 系统中往往不切实际，因为它们要么依赖于不切实际的先验知识，要么即使在没有攻击的情况下也会导致精度损失。此外，这些方法缺乏执行验证协议，导致参与者不确定机制的正确执行。为了解决这些挑战，我们提出了一种针对现实世界 FL 系统的新型异常检测策略。我们的方法仅在检测到潜在攻击时才激活防御，并能够移除恶意模型而不影响良性模型。此外，我们还将零知识证明纳入其中，以确保所提出的防御机制的完整性。实验结果表明，我们的方法在各种机器学习任务中针对一系列对抗性攻击有效地增强了 FL 系统的安全性。
从观察中模仿学习 (ILfO) 是一种学习者尝试模仿专家行为的设置，仅使用观察数据，无需直接指导示范动作。本文重新审视了 IL 中的最佳传输，其中奖励是基于学习者和专家状态轨迹之间的 Wasserstein 距离生成的。我们表明，现有方法可以简化为生成奖励函数，无需学习模型或对抗性学习。与许多其他最先进的方法不同，我们的方法可以与任何 RL 算法集成，并且适用于 ILfO。我们在各种连续控制任务上证明了这种简单方法的有效性，并发现它在 ILfO 设置中超越了最先进水平，即使只观察单个专家的轨迹而没有动作，也能在各种评估领域中实现专家级性能。
我们提出了 MosaicFusion，一种简单而有效的基于扩散的数据增强方法，用于大词汇量实例分割。我们的方法无需训练，也不依赖于任何标签监督。两种关键设计使我们能够将现成的文本到图像扩散模型用作对象实例和掩码注释的有用数据集生成器。首先，我们将图像画布划分为多个区域，并执行一轮扩散过程以同时生成多个实例，并以不同的文本提示为条件。其次，我们通过聚合跨层和扩散时间步与对象提示相关的交叉注意力图来获得相应的实例掩码，然后进行简单的阈值处理和边缘感知细化处理。在没有花哨的功能的情况下，我们的 MosaicFusion 可以为稀有和新类别生成大量合成标记数据。在具有挑战性的 LVIS 长尾和开放词汇基准上的实验结果表明，MosaicFusion 可以显着提高现有实例分割模型的性能，特别是对于稀有和新类别。代码：https://github.com/Jiahao000/MosaicFusion。
大规模 Transformer 的微调已在自然语言处理和计算机视觉任务中催生了许多人工智能应用。然而，随着模型规模和任务数量的增加，微调所有预训练模型参数变得不切实际。参数高效迁移学习 (PETL) 方法旨在解决这些挑战。尽管在减少可训练参数数量方面有效，但 PETL 方法仍然需要大量的能源和计算资源进行微调。在本文中，我们介绍了 **RE**current **AD**aptation (READ)——一种轻量级且内存高效的微调方法——来克服当前 PETL 方法的局限性。具体来说，READ 在主干模型旁边插入了一个小型 RNN 网络，这样模型就不必反向传播到大型主干网络。通过对 GLUE 基准的全面实证评估，我们证明 READ 可以将训练内存消耗降低 56%，将 GPU 能耗降低 84%，同时与全微调相比，可以重新训练出高质量的模型。此外，READ 的模型大小不会随着主干模型大小的增加而增长，使其成为微调大型 Transformer 的高度可扩展解决方案。
时间序列挖掘（TSM）是一个重要的研究领域，因为它在实际应用中展现出巨大的潜力。依赖于大量标记数据的深度学习模型已成功应用于TSM。然而，由于数据标注成本，构建大规模的良好标记数据集非常困难。近年来，预训练模型由于其在计算机视觉和自然语言处理领域的出色表现，逐渐引起了时间序列领域的关注。在本综述中，我们对时间序列预训练模型（TS-PTMs）进行了全面综述，旨在指导对TS-PTMs的理解、应用和研究。具体而言，我们首先简要介绍了TSM中常用的典型深度学习模型。然后，我们根据预训练技术概述了TS-PTMs。我们探讨的主要类别包括监督、无监督和自监督TS-PTMs。此外，我们还进行了涉及27种方法、434个数据集和679个迁移学习场景的大量实验，以分析迁移学习策略、基于Transformer的模型和代表性TS-PTMs的优缺点。最后，我们指出了TS-PTMs未来工作的一些潜在方向。