arXiv:2501.06066v3 宣 bố loại: replace-cross
摘要：在边缘设备上部署人工智能（AI）模型涉及在满足严格复杂性约束（如有限的内存和能源资源）与确保在敏感决策任务中可靠性能之间取得微妙的平衡。通过贝叶斯推断进行不确定量化是增强可靠性的方法之一。然而，这种方法通常需要维护和运行多个模型进行集成，这可能会超过边缘设备的计算限制。本文通过从复杂模型中蒸馏校准信息提出了一种低复杂度方法来解决这一挑战。在离线阶段，利用基于云的复杂模型生成的预测概率来确定一个阈值，该阈值基于云模型与边缘模型之间的典型偏差。在运行时，使用该阈值构建似然集——在用户选定的置信水平下，能够保证包含云模型预测的概率范围。似然集通过预测概率单纯形上的偏差测度阈值化获得。针对视觉和语言任务的实验表明，所提出的方法——称为相容化蒸馏推断（CD-CI）——与低复杂度贝叶斯方法（如拉普拉斯近似）相比，显著提高了校准性能，使其成为边缘AI部署的实际和高效解决方案。
arXiv:2412.18086v2 通知类型: 替换-交叉
摘要：运动规划是自动驾驶的核心组成部分。最先进的运动规划器是在精心策划的数据集上进行训练的，这些数据集不仅标注成本高昂，而且在捕捉罕见的致关键场景方面也远不够充分。未能考虑到这样的场景会对运动规划器构成重大风险，并可能导致测试过程中出现事故。一个直观的解决方案是通过编程和执行模拟器（例如CARLA）手动组合这些场景。然而，这种方法会带来巨大的人力成本。受到这一挑战的启发，我们提出了一种低成本的方法来生成多样化的关键交通场景，以训练更稳健的运动规划器。首先，我们将交通场景表示为脚本，然后模拟器使用这些脚本生成交通场景。接下来，我们开发了一种方法，该方法接受用户指定的文本描述，大语言模型通过上下文学习将其转化为脚本。生成的脚本被发送给模拟器，模拟器据此生成相应的交通场景。由于我们的方法能够生成大量的安全关键交通场景，我们使用这些场景作为运动规划器的合成训练数据。为了证明生成场景的价值，我们在我们的合成数据、现实世界数据以及两者的结合上对现有的运动规划器进行了训练。我们的实验表明，使用我们数据训练的运动规划器在性能上显著优于仅使用现实世界数据训练的那些，这表明我们合成数据的有用性和我们数据生成方法的有效性。我们的源代码可在 https://ezharjan.github.io/AutoSceneGen 获得。
arXiv:2412.08085v2 宣告类型: replace-cross
摘要: 我们考虑在有限时间范围内进行顺序实验设计以解决昂贵的黑盒目标函数的多目标优化(MOO)问题。这个问题在许多实际应用中出现，包括材料设计，其中我们有一个有限的资源预算来在实验室中制造和评估候选材料。我们使用贝叶斯优化(BO)框架来解决这个问题，并提出了第一个针对MOO问题的非短视方法。过去关于单目标问题的非短视BO的工作依赖于贝尔曼 optimality 原理来处理前瞻推理过程。然而，对于大多数MOO问题，这个原理并不适用，因为奖励函数需要满足一些条件：标量变量、单调性和可加性。我们通过使用超体积改进(HVI)作为我们的标量化方法来应对这一挑战，这使得我们能够使用贝尔曼方程的下界来近似有限时间范围，并使用批量预期超体积改进(EHVI)获取函数(AF)来解决MOO问题。我们的表述自然允许我们使用其他基于改进的标量化方法，并比较它们与HVI的有效性。我们为MOBO提出了三种非短视获取函数：1) 嵌套获取函数(Nested AF)，基于精确计算的下界；2) 联合获取函数(Joint AF)，其下界为嵌套获取函数；3) BINOM获取函数，这是一种基于批量多目标获取函数的快速近似版本。我们在多个多样化的实际应用MO问题上的实验表明，我们的非短视获取函数显著改善了MOBO现有短视获取函数的性能。
arXiv:2411.05793v3 通知类型：替换-交叉
摘要：时间序列预测是一项关键任务，为决策提供了关键信息。在传统的统计和机器学习方法之后，各种基础深度学习架构，如MLPs、CNNs、RNNs和GNNs已得到发展。然而，每种深度学习架构的归纳偏见导致的结构限制制约了它们的性能。擅长处理长期依赖性的Transformer模型已成为时间序列预测的重要架构组件。然而，最近的研究表明，简单的线性层等替代方案可以超越Transformer。这些发现为使用从基础深度学习模型到新兴架构和混合方法的多样化架构提供了新的可能性。在这个背景下，时间序列预测的架构建模目前已进入新的复兴时期。本次综述不仅提供了时间序列预测的历史背景，还提供了对向架构多样化过渡的全面和及时的分析。通过比较和重新审视深度学习模型，我们发现了新的视角并呈现了最近的趋势，包括混合、扩散、Mamba和基础模型。通过关注时间序列数据的固有特征，我们还解决了时间序列预测中备受关注的开放挑战，如通道依赖性、分布转移、因果性和特征提取。这些贡献通过提供对时间序列预测（TSF）多样化研究领域的系统理解，为新手降低了入门门槛，同时为经验丰富的研究者提供了更广泛的视角和新的机遇，通过深入探索TSF挑战。 （由于arXiv的字符限制，上述摘要是经过缩短的版本，完整版本请参见论文。）
arXiv:2410.08067v4 宣告类型: replace-cross
摘要：大型语言模型（LLMs）的偏好对齐显著提高了其遵循人类指令和意图的能力。然而，现有的直接对齐算法主要关注相对偏好，经常忽视响应的定性方面，尽管可以获得包括评委模型提供的奖励分数在内的偏好数据，在AI反馈中。试图最大化被选中响应与稍微劣质的拒绝响应之间的隐含奖励差距可能会导致过度拟合和不必要的删除高质量的拒绝响应。忽视奖励分数也促使LLM无缘无故地偏好低质量的被选中响应，无法泛化到数据中稀疏的最优响应。为了克服这些不足，我们的研究引入了基于奖励的LLM策略，能够识别并从数据集中响应质量的整个光谱中学习，以帮助拓展到更优的区域。我们提出了一种有效而简单的数据重新标记方法，基于质量分数条件化偏好对，构建一个增强奖励的数据集。在各种基准和不同模型的实验中，我们的方法始终大幅提升了DPO。通过全面的消融研究，我们证明了我们的方法不仅最大化了偏好数据的效用，还缓解了消除过拟合的问题，展示了其在数据扩展之外的广泛有效性。我们的代码可在https://github.com/shenao-zhang/reward-augmented-preference上获得。
arXiv:2410.05573v2 宣布类型: replace-cross
摘要：毒性文本检测器可能对对抗样本存在漏洞——对输入文本进行微小篡改，使系统产生错误的检测结果。现有的攻击算法既耗时又经常生成无效或模棱两可的对抗样本，这使得它们在评估或改进现实世界的毒性内容审查中不太有用。本文提出了一种用于生成有毒对抗样本（TAE）质量控制的注解管道。我们设计了基于模型的自动注解和基于人类的质量验证，以评估TAE的质量要求。成功的TAE应能够使目标毒性模型产生非恶意预测，语法合理，看起来像人类生成的文本，并表现出语义毒性。将这些要求应用于20多种最先进的（SOTA）TAE攻击配方时，我们发现从总共940,000个原始TAE攻击生成中有许多无效样本。然后，我们利用提出的管道来筛选和培育一个高质量的TAE数据集，称为TaeBench（包含264,000个样本）。实证研究表明，TaeBench能够有效攻击SOTA毒性内容审核模型和服务。实验还表明，使用TaeBench进行对抗训练可以显著提高两个毒性检测器的鲁棒性。
arXiv:2409.08215v2 通知类型: 替换-交叉
摘要: 我们提出了LT3SD，这是一种新颖的潜空间扩散模型，用于大规模3D场景生成。最近在扩散模型方面的进展在3D对象生成方面展示了令人印象深刻的成果，但在将这些模型扩展到3D场景时，它们在空间范围和质量上受到了限制。为了生成复杂的和多样的3D场景结构，我们引入了一种潜空间树表示，以有效地在粗到细的层次结构中编码低频几何和高频细节。然后，我们可以在这一潜空间3D场景中学习生成扩散过程，在每个分辨率级别上建模场景的潜空间组件。为了合成不同大小的大规模场景，我们对场景块进行训练，并通过多场景块之间的共享扩散生成合成任意大小的输出3D场景。通过广泛的实验，我们证明了LT3SD在大规模、高质量无条件3D场景生成以及对部分场景观察的概率补全方面的有效性和优点。
arXiv:2409.07415v2 宣告类型: replace-cross
摘要：将人工智能（AI）和机器学习（ML）整合到医疗系统中，在提升患者护理质量和效率方面具有巨大的潜力；然而，这也使敏感数据和系统完整性暴露于潜在的网络攻击中。当前针对医疗AI的安全与隐私（S&P）研究在医疗部署场景和威胁模型方面存在高度不平衡，并且与生物医学研究社区脱节。这阻碍了对医疗AI所涉及风险的全面理解。为解决这一缺口，本文全面审视了现有的医疗AI S&P研究，提供了一个统一的框架，以识别尚未充分探索的领域。我们的文献综述系统地概述了医疗AI攻击和防御，并指出了每个基于AI的医疗应用领域的挑战和研究机会。通过针对不同威胁模型的实验分析以及对未充分探索的对抗性攻击可行性的研究，我们提供了对医疗AI迅速发展领域中网络安全研究迫切需求的有力见解。
arXiv:2407.20906v5 宣布类型: replace-cross
摘要：文献研究对于科学研究至关重要，但面对信息量激增超出研究人员处理能力的挑战。我们提出了一种基于大型语言模型（LLMs）的自动化综述生成方法，以克服效率瓶颈并减少认知负担。我们经过统计验证的评估框架表明，生成的综述与手动撰写的质量相当或更高，适用于跨研究领域的广泛应用，无需用户具备特定领域的知识。应用于丙烷脱氢催化剂（PDH）的研究，我们的方法迅速分析了343篇文章，平均每篇耗时几秒钟，每个语言模型账户，生成了涵盖35个主题的综述，并对1041篇文章进行了深入分析，提供了催化剂性质的见解。通过多层次的质量控制，我们有效地减少了大型语言模型的幻觉现象，专家验证确认了准确性和引文完整性，在95%的置信度下，幻觉风险降低至低于0.5%。发布的Windows应用程序实现了单击即可生成综述的功能，提升了研究生产力和文献推荐效率，为进一步的科学研究奠定了基础。
arXiv:2407.01635v5 宣布类型: replace-cross
摘要：图神经网络（GNNs）在图结构数据的学习方面展现出了显著的成功。然而，它们在处理有向图（digraphs）时面临着独特的挑战，主要是由于节点之间固有的不对称性。传统的GNN擅长捕捉单向关系，但在编码节点之间的相互路径依赖性方面有所不足，例如在digraphs中常见的不对称最短路径。认识到这一差距，我们提出了往返图神经网络（Commute Graph Neural Networks，CGNN）这一方法，该方法以无缝的方式将节点层面的往返时间整合进消息传递方案中。CGNN的核心是使用新形式的digraph拉普拉斯矩阵的一种高效往返时间计算方法。往返时间随后被整合进局部聚合过程中，每个层中邻节点的贡献根据它们与其中心节点的往返时间进行加权。这使得CGNN能够直接捕捉digraph中的相互不对称关系。在8个基准数据集上的 extensive 实验验证了CGNN相对于13个最先进的方法的优越性。