多模态学习的核心任务是整合来自多个特征空间（例如文本和音频）的信息，提供数据模态不变的基本表示。最近的研究表明，当每个模态中的样本都是由共享和私有成分的线性混合生成的时，经典工具（如典型相关分析（CCA））可以证明识别共享成分，最多存在微小的歧义。这种可识别性结果是在跨模态样本根据其共享信息进行对齐/配对的条件下获得的。本工作更进一步，研究了跨模态样本未对齐的多模态线性混合中共享成分的可识别性。提出了一种基于分布差异最小化的损失，在此基础上，推导出了一套确保共享成分可识别性的充分条件。我们的条件基于跨模态分布差异的表征和密度保持变换的去除，这比现有的依赖于独立成分分析的研究要温和得多。通过添加合理的结构约束，还可以提供更宽松的条件，这些约束是受各种应用中可用辅助信息的启发。可识别性主张通过合成数据和真实世界数据得到充分验证。
大型语言模型 (LLM) 在众多自然语言处理任务中已取代传统方法。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法...
我们提出了一种新颖的对抗性攻击家族，利用语言模型无法解释 ASCII 艺术的缺陷。为了评估这些攻击，我们提出了 ToxASCII 基准，并开发了两种定制的 ASCII 艺术字体：一种利用特殊标记，另一种使用文本填充的字母形状。我们的攻击在十个模型中实现了 1.0 的完美攻击成功率，包括 OpenAI 的 o1-preview 和 LLaMA 3.1。
警告：本文包含用于研究目的的毒性语言示例。
6D 物体姿态估计旨在确定物体的平移、旋转和尺度，通常从单张 RGBD 图像中进行。最近的进展已将这种估计从实例级扩展到类别级，允许模型在同一类别中跨未见实例进行泛化。然而，这种泛化受到现有数据集（如 NOCS）所涵盖的类别范围狭窄的限制，这些数据集也往往忽略了遮挡等常见的现实世界挑战。为了应对这些挑战，我们引入了 Omni6D，这是一个包含广泛类别和不同背景的综合 RGBD 数据集，将任务提升到更现实的背景下。1) 该数据集包含 166 个类别的广泛范围，4688 个调整到规范姿势的实例，以及超过 80 万次捕获，极大地扩展了评估范围。2) 我们引入了对称感知度量，并对 Omni6D 上现有算法进行了系统基准测试，对新挑战和见解进行了深入探讨。3) 此外，我们提出了一种有效的微调方法，将模型从以前的数据集适应到我们广泛的词汇设置中。我们相信，这项举措将为工业和学术领域的新见解和实质性进展铺平道路，推动通用 6D 姿态估计的边界。
近年来研究表明，新兴的“微调即服务”商业模式暴露了严重的安全性问题——用户上传少量有害数据进行微调可能会损害模型的安全对齐。这种攻击被称为“有害微调”，引起了研究界广泛的关注。然而，由于这种攻击还很新，**我们从自己糟糕的投稿经历中发现，研究界普遍存在一些误解。** 本文旨在澄清攻击设置中的一些常见误解，并正式建立研究问题。具体而言，我们首先介绍了该问题的威胁模型，并介绍了有害微调攻击及其变体。然后，我们系统地调研了关于该问题攻击/防御/机械分析的现有文献。最后，我们概述了可能有助于该领域发展的未来研究方向。此外，我们还提供了一个感兴趣的问题列表，这些问题可能有助于审稿人在同行评审过程中质疑实验/攻击/防御设置的真实性。一个精心策划的相关论文列表在以下地址维护并可供访问：\url{https://github.com/git-disl/awesome_LLM-harmful-fine-tuning-papers}.
深度学习的爆炸式发展成功地实现了机器学习特征提取的自动化。然而，深度神经网络架构的结构和超参数对不同任务的性能也有着巨大的影响。探索最佳结构和超参数的过程通常涉及大量繁琐的人工干预。因此，一个合理的问题是询问如何自动搜索最佳网络结构和超参数。超参数优化致力于自动探索最佳超参数。神经架构搜索旨在自动寻找特定任务的最佳网络结构。本文首先介绍了神经架构搜索的整体发展，然后重点介绍了与强化学习相关的各种神经架构搜索工作的概述，包括基于满足更复杂结构和资源不足环境的愿望而做出的改进和变体。
时敏问答 (TSQA) 需要有效利用特定的时间上下文，包括多个随时间变化的事实，来回答时敏问题。这不仅需要解析问题中的时间信息，还需要识别和理解随时间变化的事实，才能生成准确的答案。然而，当前的大型语言模型对时间信息仍然敏感度有限，其时间推理能力不足。本文提出了一种新颖的框架，通过时间信息感知嵌入和粒度对比强化学习来增强时间感知和推理能力。在四个 TSQA 数据集上的实验结果表明，我们的框架在 TSQA 任务中显著优于现有的 LLM，标志着弥合机器和人类时间理解和推理能力差距的一步。
目标检测模型广泛应用于安全关键型应用中，但容易受到后门攻击，导致在触发特定模式时出现目标错误分类。现有的后门防御技术主要针对图像分类器等简单模型设计，通常无法有效地检测和去除目标检测器中的后门。我们提出了一种针对目标检测模型的后门防御框架，基于以下观察结果：后门攻击会导致局部模块的行为之间出现显著的不一致，例如区域建议网络 (RPN) 和分类头。通过量化和分析这些不一致，我们开发了一种算法来检测后门。我们发现不一致的模块通常是后门行为的主要来源，这导致了一种移除方法，该方法可以定位受影响的模块，重置其参数，并在一个小型的干净数据集上微调模型。对最先进的两阶段目标检测器的广泛实验表明，我们的方法在后门移除率方面比微调基线提高了 90%，同时将干净数据精度损失限制在 4% 以下。据我们所知，这项工作首次提出了一种方法，可以解决两阶段目标检测模型中后门的检测和移除问题，从而推动了保护这些复杂系统免受后门攻击领域的发展。
为了在复杂环境中获得最佳约束，逆约束强化学习 (ICRL) 试图以数据驱动的方式从专家演示中恢复这些约束。现有的 ICRL 算法从交互式环境中收集训练样本。然而，这些采样策略的有效性和效率仍然未知。为了弥合这一差距，我们引入了一个具有保证效率的战略探索框架。具体来说，我们为 ICRL 问题定义了一个可行的约束集，并研究了专家策略和环境动力学如何影响约束的最优性。受我们发现的启发，我们提出了两种探索性算法，通过以下两种方式实现高效的约束推断：1) 动态降低成本估计的有界累积误差；2) 战略性地约束探索策略。这两种算法在理论上都有根据，并且具有易处理的样本复杂度。我们在各种环境下实证地证明了我们算法的性能。
本文介绍了华为翻译服务中心 (HW-TSC) 在 (WMT 2024) 中提交的西班牙语低资源语言翻译任务的状态。我们参加了三个翻译任务：西班牙语到阿拉贡语 (es-arg)、西班牙语到阿兰语 (es-arn) 和西班牙语到阿斯图里亚斯语 (es-ast)。对于这三个翻译任务，我们使用多语言迁移、正则化 dropout、正向翻译和反向翻译、labse 降噪、转导集成学习等策略来训练基于深度 transformer-big 架构的神经机器翻译 (NMT) 模型。通过使用这些增强策略，我们的提交在最终评估中取得了具有竞争力的结果。