arXiv:2501.18280v2 宣告类型: replace-cross
摘要：大规模语言模型（LLMs）的安全问题最近引起了显著的关注，开发出了多种防御机制以防止有害输出，其中基于文本嵌入模型的保护措施构成了基本的防御。通过测试，我们发现文本嵌入模型的输出分布存在显著的偏差，且均值较大。受到这一观察的启发，我们提出了新型的有效方法来寻找可以攻击文本嵌入模型的通用魔咒词。这些通用魔咒词作为后缀，可以使任何文本的嵌入向偏差方向移动，从而操纵任意文本对之间的相似度并误导保护措施。通过在用户的提示中添加魔咒词，并要求LLMs以魔咒词结束答案，攻击者可以突破保护措施。为了根除这一安全风险，我们还提出了针对此类攻击的防御机制，可以在不进行训练的情况下矫正文本嵌入的偏差分布。
arXiv:2501.17905v2 宣告类型: replace-cross
摘要：大型语言模型（LLMs）在各个领域取得了显著进步，但其不断扩大的规模导致了高计算和内存成本。最近的研究表明，LLMs具有稀疏性，提供了通过剪枝技术减小模型大小的潜在可能性。然而，现有的剪枝方法通常遵循先剪枝再微调的范式。由于被剪枝的组件仍然包含有价值的信息，直接移除这些组件往往会导致不可逆的性能下降，在微调过程中恢复性能会带来巨大的计算负担。在本文中，我们提出了一种新的范式，即先应用正则化，然后进行剪枝，最后进行微调。基于这一范式，我们介绍了DReSS，一种简单而有效的数据驱动的正则化结构化流线化方法，适用于LLMs。通过利用少量数据对将要剪枝的组件进行正则化，DReSS预先明确地将重要信息转移到模型的剩余部分。与直接剪枝相比，这可以减少由于参数移除引起的信息损失，从而增强其语言建模能力。实验结果表明，在极端剪枝率下，DReSS显著优于现有剪枝方法，显著减少延迟并增加吞吐量。
arXiv:2501.17903v2 更换类型: 交叉替换
摘要：多代理系统通常将任务分配给专门的、自主的代理，但它们通常缺乏实时机制来更换或重新分配表现不佳的代理。受美国职业棒球大联盟自由球员模型的启发，强化学习自由球员（RLFA）算法引入了一种基于奖励的机制来检测并移除表现出持续低绩效的代理，并无缝插入更具能力的代理。每个代理内部使用混合专家（MoE）方法，在指导函数的指导下将接收到的任务委派给专门的子模型。一个主要的应用案例是欺诈检测，其中RLFA迅速替换那些检测准确率低于预设阈值的代理。新的代理在试用模式下进行测试，一旦显示出卓越的表现，就完全替换掉表现不佳者。这一动态的自由球员循环确保了持续的准确性，更快地适应新兴威胁，并对正在进行的操作造成最小的干扰。通过不断更新其代理的阵容，该系统促进了多代理生成AI环境中的持续改进和更具弹性的协作。
arXiv:2501.17581v2 宣告类型：替换交叉
摘要：对抗网络骚扰言论的回击式言论已经成为了对抗在线仇恨言论的一种流行且有效的策略，促进了使用语言模型自动化生成回击式言论的研究兴趣。然而，该领域仍然缺乏标准化的评估协议和可靠的自动化评估指标，这些指标能够与人类判断相契合。目前的自动化评估方法主要基于相似度指标，无法有效地捕捉回击式言论质量的复杂且独立的属性，如上下文相关性、攻击性或论辩连贯性。这导致了对劳动密集型的人类评估的依赖，以评估自动化回击式言论生成方法。为了解决这些问题，我们引入了CSEval，这是一种用于在四个方面评估回击式言论质量的新数据集和框架：上下文相关性、攻击性、论辩连贯性和适宜性。此外，我们还提出了Auto-Calibrated COT for Counterspeech Evaluation（Auto-CSEval），这是一种基于提示的方法，并结合自校准的链式思维（CoT），使用大型语言模型为回击式言论打分。我们的实验表明，Auto-CSEval在与人类判断的相关性上优于传统的指标如ROUGE、METEOR和BertScore，表明了在自动化回击式言论评估方面取得了显著的改进。
arXiv:2501.16450v3 宣告类型: replace-cross
摘要：排名和推荐系统是众多在线体验的基础，从搜索结果到个性化内容交付不一而足。这些系统已经演变成复杂的多层架构，利用大量的数据集，并经常融合数千个预测模型。维护和增强这些模型是一个耗时的过程，需要广泛的功能工程。这种方法不仅加剧了技术债务，还阻碍了将这些系统扩展到新兴问题领域的创新。在这份报告中，我们介绍了一种研究方法，通过利用一个带有文本界面的大规模基础模型来解决排名和推荐任务中的这些挑战。我们说明了我们方法几个关键优势：(1) 单个模型可以管理排名和推荐任务中的多种预测任务，(2) 具有文本界面的解码器模型由于其理解推理能力，可以泛化到新型推荐界面和跨域问题，并且表现优于这些领域的问题，(3) 通过使用自然语言界面来定义任务并口头描述成员行为及其社会联系，我们消除了功能工程的需要以及维护复杂有向无环图中模型依赖关系的需要。我们介绍了我们的预生产研究模型 360Brew V1.0，这是一个包含1500亿参数的仅解码器模型，已经在领英的数据和任务上进行了训练和微调。该模型能够在领英平台上各个板块解决超过30项预测任务，其性能水平与基于离线指标的当前生产系统的水平相当或更优，且无需针对特定任务进行微调。值得注意的是，通常每个任务都由需要类似或更大的团队数年开发和维护的专用模型来处理。
arXiv:2501.15564v2 宣布类型: replace-cross
摘要：在复杂开放世界环境中实现类人驾驶行为是自动驾驶中的一个关键挑战。当前基于学习的规划方法，如模仿学习方法，往往难以在竞争性目标之间取得平衡，并且缺乏安全性保障，这是由于其适应性有限，无法学习人类规划中经常表现出的复杂多模态行为，更不用说它们对预定义规则依赖性较强。我们提出了一种新颖的基于变换器的扩散规划器，用于闭环规划，该规划器可以有效地建模多模态驾驶行为，而不依赖于任何基于规则的改进，从而保证轨迹质量。我们的模型支持在相同架构下同时建模预测和规划任务，从而实现车辆之间的协同行为。此外，通过学习轨迹得分函数的梯度并采用灵活的分类器指导机制，扩散规划器有效地实现了安全和适应性的规划行为。在大规模真实世界自主规划基准nuPlan和我们新收集的200小时的配送车辆驾驶数据集上的评估表明，扩散规划器在各种驾驶样式的鲁棒可转移性方面达到了最先进的闭环性能。
arXiv:2501.14960v2 通知类型: 交叉替换
摘要：由于分布式能源资源（DERs）的集成和客户参与度的增加，电力分配网络正在演进。为了保持最优运行、减少损耗并满足不断变化的负载需求，频繁的网络重构是必要的。传统上，重构任务依赖于优化软件和专家操作员，但随着系统变得更复杂，需要在不依赖专家的情况下提供更快、更适应的解决方案。基于数据的重构由于其准确性、速度快以及对不完整网络数据的鲁棒性而受到重视。大语言模型（LLMs），因为它们能够捕捉复杂模式，为复杂电力网络中高效和响应迅速的网络重构提供了一种有前景的方法。
在此项工作中，我们引入了LLM4DistReconfig，这是一种基于深度学习的方法，利用微调后的LLM解决分配网络重构问题。通过精心设计提示和设计自定义损失函数，我们使用代表网络参数（如母线、可用线路、开放线路、节点电压和系统损耗）的输入数据来训练LLM。该模型通过输出更新后的网络配置来预测最优重构，这些配置在满足操作约束的同时最小化系统损耗。与经典算法相比，我们方法显著减少了推理时间，使在训练后能够在接近实时的情况下进行最优重构。实验结果显示，我们的方法为五个单独的和联合测试数据集生成了最优配置，这些配置能够最小化系统损耗。此外，所有数据集中的无效边、环或子图的数量都很少，满足了特定领域的需求。另外，生成的响应在见过的网络中少于5%的不正确输出，并在未见过的网络中取得了满意的结果，这表明其在重构任务中具有有效性及可靠性。
arXiv:2501.14012v2 Announce Type: replace-cross
摘要：代理模型经常被用作有效替代昂贵的实际过程执行的手段。然而，构建高质量的代理模型通常需要大量的数据获取。这一问题的解决方案是在任务之间存在某些不变性的情况下，将预训练的代理模型转移到新的任务上。本文关注将非可微代理模型（例如，随机森林）从源函数传递到目标函数，假设它们的领域通过未知的仿射变换相关，仅通过在目标上评估少量的转移数据点来进行。先前的研究试图通过调整仿射变换来在转移数据上最小化经验损失，来解决这一挑战，尤其是在不同的可微模型（例如，高斯过程回归）中。在这篇论文中，我们将先前的工作扩展到随机森林模型，并在广泛使用的标准测试集（BBOB测试床）和四个真实世界的转移学习问题上评估其有效性。结果突显了所提出方法在减少构建复杂现实场景的代理模型所需的数据需求和计算成本方面的显著实用优势。
arXiv:2501.13951v2 宣告类型: replace-cross
摘要：长形式的心理健康评估对大型语言模型（LLMs）提出了独特的挑战，这些模型在处理扩展的、领域特定背景时经常出现幻觉或不一致的推理。我们引入了分层多模型推理（SMMR），这是一种利用多个LLMs和专门的小型模型作为平等的“专家”的分层框架。早期层隔离简短的、离散的子任务，而后续层则通过更先进的长上下文模型整合和改进这些部分输出。我们在DAIC-WOZ抑郁筛查数据集和48个精选的精神疾病病例研究上评估了SMMR，结果表明，在准确率、F1分数和PHQ-8误差减少方面，SMMR相对于单模型基线模型表现出了一致的改进。通过利用多样化的“第二意见”，SMMR减轻了幻觉，捕捉到了细微的临床差异，并提高了在高风险心理健康评估中的可靠性。我们的研究结果强调了多专家框架对于更可信的AI驱动筛查的价值。
arXiv:2501.13763v2 通告类型: 替换-交叉
摘要：通过神经网络实现的深度学习，通过提供如对象检测/分类和预测等复杂任务的方法，彻底改变了机器学习。然而，基于深度神经网络的架构开始产生边际效益递减，这主要是由于它们的统计性质以及无法捕捉训练数据中的因果结构。深度学习的另一个问题是其高能耗，从可持续性的角度来看，这并不是一个令人满意的情况。
因此，在考虑替代方法以解决这些问题时，这两种方法都受到了人类大脑运作的启发。一种方法是因果学习，它考虑了神经网络训练数据集中各个项目之间的因果关系。预计这将有助于最小化深度神经网络学习表示中普遍存在的虚假相关性。另一种方法是近期发展的神经混沌学习，它源于生物神经网络（大脑/中枢神经系统）中固有的非线性混沌放电。这两种方法在单独使用深度学习时都显示了更好的结果。
为此，本立场文件探讨了如何将因果学习和神经混沌学习方法结合起来，以在包含关联数据的领域中获得更好的结果。我们提出了一种这种集成的方法，以增强分类、预测和强化学习。我们还提出了需要进行研究的问题，以使这一集成成为现实。