在众多自然语言处理任务中，大型语言模型（LLM）已取代了传统方法。然而，在命名实体识别（NER）中，现有的基于LLM的方法...
数据集压缩是数据中心学习中的一个概念，它能有效地将原始数据集的关键属性转移到合成版本中，同时保持多样性和真实性。这种方法显著提高了模型训练效率，并且可以适应多个应用领域。以往的数据集压缩方法面临着挑战：一些方法计算成本高，限制了其在更大数据集上的可扩展性（例如，MTT、DREAM 和 TESLA），而另一些方法则局限于不太理想的设计空间，这可能会阻碍潜在的改进，尤其是在较小的数据集上（例如，SRe2L、G-VBSM 和 RDED）。为了解决这些局限性，我们提出了一种全面的设计框架，其中包含一些具体有效的策略，例如实施软类别感知匹配和调整学习率计划。这些策略以经验证据和理论支持为基础。我们由此产生的方法，即阐明数据集压缩（EDC），为小规模和大规模数据集压缩建立了基准。在我们的测试中，EDC 实现了最先进的准确性，在 ImageNet-1k 上使用 ResNet-18 模型，IPC 为 10 时达到 48.6%，这对应于 0.78% 的压缩率。该性能分别超过了 SRe2L、G-VBSM 和 RDED 27.3%、17.2% 和 6.6%。
大型语言模型 (LLMs) 引发了人们对其潜在的思维理论 (ToM) 能力的极大兴趣和争论。目前的思维理论评估主要集中于使用机器生成的数据或容易出现捷径和虚假相关性的游戏设置来测试模型，缺乏对机器 ToM 能力在真实世界的人机交互场景中的评估。这迫切需要开发新的真实世界场景基准。我们介绍了 NegotiationToM，这是一个新的基准，旨在通过对涵盖多维心理状态（即愿望、信念和意图）的真实世界谈判来对机器 ToM 进行压力测试。我们的基准建立在信念-愿望-意图 (BDI) 代理建模理论的基础上，并进行了必要的实证实验来评估大型语言模型。我们的研究结果表明，NegotiationToM 对最先进的 LLMs 来说是一个挑战，因为它们在使用思维链 (CoT) 方法的情况下，其性能始终明显低于人类。
基于物理的 3D 对象交互动力学生成方法
PhysDreamer 是一种基于物理的方法，通过利用视频生成模型学习到的对象动力学先验知识，赋予静态 3D 对象以交互式动力学。通过提取这些先验知识，PhysDreamer 可以合成对新颖交互（例如外力或代理操作）的逼真对象响应。我们在各种弹性物体示例上演示了我们的方法，并通过用户研究评估了合成交互的真实性。PhysDreamer 通过使静态 3D 对象能够以物理上合理的方式对交互式刺激做出动态响应，朝着更具吸引力和逼真的虚拟体验迈出了一步。请访问我们的项目页面 https://physdreamer.github.io/。
我们利用来自世界价值观调查的十三类数据，探索了大型语言模型 (LLM) 中价值观与特定年龄群体的对齐情况。通过一系列不同的提示，旨在确保响应的稳健性，我们发现 LLM 价值观普遍倾向于更年轻的人群，特别是与美国人口相比。虽然可以观察到普遍的倾向，但我们也发现，这种对年轻群体的倾向在不同的价值观类别中可能有所不同。此外，我们还探索了在提示中加入年龄身份信息的影响，并观察到在减轻不同年龄组之间价值观差异方面的挑战。我们的研究结果突出了 LLM 中的年龄偏差，并为未来的工作提供了见解。我们的分析材料可以在 \url{ https://github.com/MichiganNLP/Age-Bias-In-LLMs} 获取。
基于随机采样的算法由于其问题的难解性而被广泛应用于机器人运动规划，并且在各种问题实例中具有实验有效性。大多数变体使用与已知搜索空间的底层结构相关的各种启发式方法来偏置其采样。在这项工作中，我们通过定义引导空间的概念来形式化引导搜索的直观概念。这种新的语言将许多看似不同的先前方法封装在同一个框架下，并允许我们推断引导，这是以前被掩盖的不同算法的核心贡献。我们建议使用信息论方法来评估引导，该方法在各种环境中测试已知算法时，在实验上与直觉相符。引导语言和评估表明了对现有方法的改进，并允许简单的混合算法结合来自多个来源的引导。
任务与运动规划（TAMP）将高级任务规划和低级运动规划相结合，使机器人能够自主地对长时程、动态任务进行有效推理。基于优化的 TAMP 侧重于混合优化方法，这些方法通过目标函数定义目标条件，并能够处理开放式目标、机器人动力学以及机器人与环境之间的物理交互。因此，基于优化的 TAMP 特别适合解决高度复杂、接触丰富的运动和操作问题。本综述对基于优化的 TAMP 进行了全面回顾，涵盖了 (i) 规划域表示，包括动作描述语言和时序逻辑，(ii) TAMP 各个组成部分的解决方案策略，包括人工智能规划和轨迹优化 (TO)，以及 (iii) 逻辑型任务规划与模型型 TO 之间的动态交互。本综述特别关注高效解决 TAMP 的算法结构，特别是层次化和分布式方法。此外，本综述强调了经典方法与当代基于学习的创新（如大型语言模型）之间的协同作用。此外，本综述还讨论了 TAMP 的未来研究方向，重点介绍了算法和应用特定的挑战。
我们证明，即使是最新的安全对齐的大型语言模型 (LLM) 也无法抵御简单的自适应越狱攻击。首先，我们展示了如何成功地利用对 logprob 的访问来进行越狱：我们最初设计一个对抗性提示模板（有时会根据目标 LLM 进行调整），然后我们在后缀上应用随机搜索以最大化目标 logprob（例如，令牌 "Sure" 的 logprob），可能进行多次重启。通过这种方式，我们根据 GPT-4 作为评判标准，在 Vicuna-13B、Mistral-7B、Phi-3-Mini、Nemotron-4-340B、Llama-2-Chat-7B/13B/70B、Llama-3-Instruct-8B、Gemma-7B、GPT-3.5、GPT-4o 和 R2D2 上实现了 100% 的攻击成功率，这些模型来自 HarmBench，并且经过了针对 GCG 攻击的对抗性训练。我们还展示了如何通过传输或预填充攻击以 100% 的成功率越狱所有不公开 logprob 的 Claude 模型。此外，我们还展示了如何在一个受限的令牌集中使用随机搜索来查找中毒模型中的木马字符串——这是一项与越狱有很多相似之处的任务——这是我们在 SaTML'24 木马检测竞赛中获得第一名的算法。这些攻击背后的共同主题是适应性至关重要：不同的模型容易受到不同的提示模板的攻击（例如，R2D2 对情境学习提示非常敏感），一些模型根据其 API 具有独特的漏洞（例如，Claude 的预填充），并且在某些情况下，根据先验知识限制令牌搜索空间至关重要（例如，木马检测）。为了便于复现，我们在 JailbreakBench 格式的 https://github.com/tml-epfl/llm-adaptive-attacks 中提供了代码、日志和越狱工件。
本文介绍了 Evalverse，一个新颖的库，通过将不同的评估工具统一到一个单一的、用户友好的框架中，简化了大型语言模型 (LLM) 的评估。Evalverse 使得即使是那些对人工智能知之甚少的人也能轻松地请求 LLM 评估并接收详细的报告，这得益于它与 Slack 等通信平台的集成。因此，Evalverse 成为全面评估 LLM 的强大工具，为研究人员和从业人员提供了集中且易于访问的评估框架。最后，我们还提供了一个 Evalverse 的演示视频，以两分钟的形式展示了它的功能和实现。
随着大型语言模型 (LLM) 的发展，使其与人类偏好保持一致变得越来越重要。我们提出了逐步 DPO (sDPO)，这是最近流行的直接偏好优化 (DPO) 的一种扩展，用于对齐微调。这种方法涉及将可用的偏好数据集进行划分，并以逐步的方式利用它们，而不是一次性使用所有数据集。我们证明了这种方法有助于在 DPO 训练框架中使用更精确对齐的参考模型。此外，sDPO 训练的最终模型性能更高，甚至超过了其他具有更多参数的流行 LLM。