arXiv:2502.01692v2 通知类型: 交叉
摘要: 指导扩散模型生成是一个有望为预训练扩散模型定制生成过程以应对特定下游任务的方向。现有的指导扩散模型要么依赖于使用预先收集的数据集对指导模型进行训练，要么需要目标函数是可微分的。然而，在大多数实际任务中，离线数据集往往是不可用的，它们的目标函数通常也不是可微分的，例如带有人类偏好的图像生成、药物发现中的分子生成和材料设计。因此，我们需要一种在线算法，能够在运行时收集数据并支持黑盒目标函数。此外，算法的查询效率也非常关键，因为在实际场景中，查询的目标函数评估往往是非常昂贵的。在本文中，我们提出了一个新颖且简单的算法——Fast Direct，用于高效的在线黑盒目标生成。我们的Fast Direct在数据流形上构建一个伪目标，以通用方向更新扩散模型的噪声序列，有望实现查询高效的指导生成。在十二个高分辨率（1024×1024）图像目标生成任务和六个3D分子目标生成任务上的广泛实验表明，与传统方法相比，我们的方法分别实现了每查询最多6倍到10倍以及每查询最多11倍到44倍的查询效率提升。我们的实现已公开可用：https://github.com/kimyong95/guide-stable-diffusion/tree/fast-direct
arXiv:2501.19297v2 更新类型：替换-交叉
摘要：关于大型语言模型（LLM）在软件开发中的应用研究大多集中在代码生成方面。对于需求工程（RE），涉及系统需求的开发和验证的过程，相关文献较少。在RE中，有需求获取这一子领域，指的是从用户、客户和其他利益相关者处发现和记录系统的功能性。在这项分析中，我们对比了LLM在时间限定和提示限定条件下与人类专家获取软件系统需求的能力。我们发现，由LLM生成的需求被评估为更符合需求（+1.12分），并在完整度方面优于人类生成的需求（+10.2%）。相反，我们发现用户倾向于认为他们认为更符合需求的解决方案是由人类专家生成的。此外，虽然由LLM生成的文档得分更高，且速度为人类专家的720倍，但其平均成本仅为人类专家的0.06%。总体而言，这些发现表明，LLM将在需求工程中发挥越来越重要的作用，通过改进需求定义、使资源分配更加高效并缩短整体项目时间线。
arXiv:2501.18645v2 Announce Type: replace-cross
摘要：大规模语言模型（LLMs）通过使用链式思考（CoT）提示来提供逐步的推理过程，从而在复杂任务中提高性能。尽管这种方法有很多好处，但传统的CoT往往无法完全验证中间推理，并且可能会产生误导性的解释。在本文中，我们提出了一种新型框架——分层链式思考（Layered-CoT）提示，该框架系统地将推理过程划分为多层，每一层都接受外部检查和可选的用户反馈。我们扩展了关键概念，并提出了三个应用场景——医疗分诊、金融风险评估和敏捷工程，并展示了Layered-CoT在透明度、正确性和用户参与度方面如何优于传统的CoT。通过整合近期几篇关于交互式解释性、多智能体框架和基于代理的合作的arXiv论文的参考，我们说明了Layered-CoT如何为高风险领域提供更可靠和严谨的解释奠定了基础。
arXiv:2501.17178v2 宣告类型: replace-cross
摘要：评估大型语言模型（LLMs）通常需要昂贵的人工注释。为了解决这一问题，提出了基于LLM的裁判系统，这些系统比较了两个LLM的输出结果，使无需人工干预即可对模型进行排名。虽然已经提出了多种方法，但不同论文之间存在许多混淆因素。例如，模型、提示和其他超参数通常同时发生变化，使得一对一的比较变得具有挑战性。在本文中，我们提出了一种系统地分析和调整LLM裁判的超参数的方法。为了降低评估裁判的成本，我们提出利用多目标多保真度方法，这可以找到在准确性和成本之间权衡的裁判，同时显著降低搜索的成本。我们的方法不仅在准确性和成本效益方面超越了现有的基准测试，而且还使用开源权重模型，确保了更大的可访问性和可重现性。
arXiv:2501.08922v2 宣告类型: replace-cross
摘要：增材制造（AM）是一项迅速发展的技术，由于其能够制造复杂几何形状的能力，已在广泛领域内得到了应用。然而，AM的一个关键挑战是如何实现一致的打印质量。这种不一致性通常被认为是由不可控的熔池动态引起的，部分原因是飞溅导致的缺陷。因此，捕捉并控制熔池的演变对于提高过程稳定性和零件质量至关重要。在此研究中，我们开发了一个框架，以支持高效AM工艺操作的决策，该框架能够通过机器学习（ML）和多项式符号回归模型促进质量控制并最小化缺陷。我们实现了一些通过实验验证的计算工具，特别是在激光 powder bed fusion（LPBF）过程中，作为一种成本效益高的方法来收集大量数据集。对于包含281种不同工艺条件的数据集，提取了熔池尺寸（长度、宽度、深度），熔池几何形状（面积、体积）和表示飞溅的体积参数。通过机器学习（ML）和多项式符号回归模型，在训练集和测试集上，使用工艺条件（功率和速度）或熔池尺寸作为输入，实现了超过95%的高R2值来预测熔池尺寸和几何特征。对于表示飞溅的体积，通过在模型输入上进行对数变换后，R2值有所提升，这些输入可以是工艺条件或熔池尺寸。在研究的ML模型中，ExtraTree模型在训练集和测试集上的R2值最高，分别为96.7%和87.5%。
arXiv:2501.04266v2 宣布类型: 替换-交叉
摘要：扩大大型语言模型（LLM）训练涉及在有限数量的 workers 中分布大量的训练参数。然而，像 ZeRO-3 这样的方法虽然大幅减轻了 GPU 内存压力，但经常需要大量的通信以确保全局同步和一致性。像 ZeRO++ 这样的既存努力通过使用次级分区来避免节点间通信，因为在节点内的 GPU-GPU 转移通常具有更多的带宽和更低的延迟。然而，随着如 Frontier 这样具备强大计算能力的基础设施的出现，配備了 AMD GPU 的 Frontier 具有显著的计算能力，因此有必要研究硬件拓扑并开发针对性策略以提高训练效率。在这项工作中，我们为 ZeRO++ 提出了几种通信和优化策略，以减少通信成本并提高内存利用率。在这篇论文中，我们针对目前排名第二的超级计算机集群 Frontier，提出了一种三层级的分层分区方法，旨在利用不同层级通信层（GCD-GCD、GPU-GPU 和节点间）的各种带宽来减少通信开销。对于我们测试的 20B GPT 模型，在使用多达 384 个 GCD 的情况下，我们观察到每 GPU 的 TFLOPS 增加了 1.71 倍，并且在使用多达 384 个 GCD 的情况下，扩展效率达到了 0.94。
arXiv:2501.04108v2 广义类型: replace-cross
摘要：通过自我监督学习预训练的图像编码器可以作为通用特征提取器，用于构建各种下游任务的下游分类器。然而，许多研究表明，攻击者可以将恶意软件（特洛伊木马）嵌入到编码器中，从而使基于受感染编码器构建的多个下游分类器同时继承了特洛伊木马的行为。在这项工作中，我们提出了TrojanDec，这是一种首个无需数据的方法，用于识别和恢复嵌入触发器的测试输入。给定一个（受感染或干净的）编码器和一个测试输入，TrojanDec首先预测该测试输入是否受感染。如果不受感染，测试输入将以正常方式处理以保持其效用。否则，测试输入将被进一步恢复以移除触发器。广泛的评估表明，TrojanDec可以有效地从给定的测试输入中识别出任何嵌入的特洛伊木马，并在其下的先进特洛伊木马上恢复它。我们的实验进一步表明，我们的TrojanDec比最先进的防御方法表现出更优的效果。
arXiv:2501.03228v3 宣告类型: replace-cross
摘要: 图神经网络(GNNs)在协作推荐中表现出色，这是由于它们能够在用户交互模式中高效地进行高阶表示平滑，从而有效地捕获结构信息。然而，现有的GNN范式在处理大规模、嘈杂和现实世界的数据集时面临着可扩展性和鲁棒性方面的重大挑战。为了解决这些挑战，我们提出了LightGNN，这是一个轻量级和基于蒸馏的GNN修剪框架，旨在大幅减少模型复杂性，同时保留核心的协作建模能力。LightGNN框架引入了一个计算高效的修剪模块，该模块能够自适应地识别和移除冗余边和嵌入项，以实现模型压缩。该框架由一个资源友好的分层知识蒸馏目标引导，其中间层通过增强观察到的图来保持性能，特别是在高压缩率场景中。在公共数据集上的广泛实验表明，LightGNN在提高计算效率和推荐准确性方面非常有效。值得注意的是，LightGNN在保持与更复杂最先进的基线相当的性能的同时，实现了边的数量减少80%和嵌入项数量减少90%。我们LightGNN框架的实现可以在github仓库中获取：https://github.com/HKUDS/LightGNN。
arXiv:2501.02977v2 宣布类型: 替换-跨学科
摘要: 顾客导向的车辆路由问题（PVRP）是异质容量车辆路由问题（HCVRP）的一个更一般的抽象，其目标是在不同的车辆配置条件下优化车辆路线，以满足客户的消费需求，每个车辆配置都有针对每位客户的偏好或约束。虽然现有的学习方法在解决HCVRP的实时问题方面展示了潜力，但没有方法能够解决更具实践性和挑战性的PVRP。在本文中，我们提出了一种协作注意力模型（CAMP），这是一种利用多智能体强化学习学习PVRP高效求解器的新方法。CAMP采用专门的基于注意力的编码器架构并行嵌入每个车辆配置的客户嵌入。我们设计了一个智能体之间的通信层，以便在每个解码步骤中跨配置嵌入进行协作决策，并采用批量指针机制来注意配置嵌入以评估下一动作的发生的可能性。我们在PVRP的两种变体上评估了CAMP：带偏好的PVRP，其中偏寝始终影响奖励函数，以及带不同数量的智能体和客户的区域约束PVRP。我们展示了我们学习的求解器在解决质量和计算效率方面与经典最先进的神经多智能体模型相比，达到了具有竞争力的结果。我们已在https://github.com/ai4co/camp开源了我们的代码。
arXiv:2501.02564v3 宣告类型: replace-cross
摘要：多视角聚类（MvC）的目标是整合不同视角的信息，以增强模型捕捉潜在数据结构的能力。在多视角聚类中广泛使用的联合训练 paradigm 可能无法充分利用多视角信息，因为统一的学习目标导致所有视角的视角特异性特征之间存在不平衡和未优化的问题。例如，在联合训练 paradigm 中，特定视角的信息更为突出，会主导学习过程，从而导致其他视角被欠优化。为了缓解这一问题，我们首先从每个视角特异性特征提取器的梯度下降的角度分析多视角聚类中联合训练 paradigm 的不平衡现象。然后，我们提出了一种新颖的平衡多视角聚类（BMvC）方法，该方法引入了视角特异性对比正则化（VCR）来调节每个视角的优化。具体来说，VCR 保留了从联合特性和视角特异性特征中捕获的样本相似性，并将其保留在与视角特异性特征对应的聚类分布中，以增强视角特异性特征提取器的学习过程。此外，还提供了一种理论分析，以说明 VCR 会自适应地调节用于更新视角特异性特征提取器参数的梯度的大小，以实现一种平衡的多视角学习过程。通过这种方式，BMvC 在充分利用视角特异性模式和探索视图不变性模式之间取得了更好的平衡，以便充分利用聚类任务的多视角信息。最后，通过在八个基准 MvC 数据集上进行的一系列实验，验证了所提出方法相比现有先进方法的优势。