arXiv:2404.08708v2 宣布类型: replace-cross
摘要：长期存在的挑战是在保持单元格之间良好连接的同时，设计多尺度结构，并优化每个单元格以接近理论性能极限。我们提出了一种直接的多尺度拓扑优化方法，使用神经网络。该方法侧重于无缝保持相邻微观结构单元之间的兼容性的反向均质化。该方法由一个拓扑神经网络组成，该网络在整个设计域中以连续场的形式优化微观结构的形状和分布。每个微观结构单元都是基于指定的弹性张量进行优化的，该弹性张量还可以容纳平面内旋转。神经网络将单元格内的局部坐标作为输入，以表示单元格内的密度分布，同时将每个单元格的全局坐标作为输入以设计空间变化的微观结构单元。因此，我们的方法将n维多尺度优化问题建模为使用神经网络的2n维反向均质化问题。在对每个单元格进行反向均质化时，我们通过按比例缩放输入坐标来扩展每个单元格的边界，从而使相邻单元格的边界结合。在结合单元上进行反向均质化可以提高连接性。我们通过设计和优化渐变多尺度结构来演示我们的方法。
arXiv:2403.17338v3 宣告类型: 替换-交叉
摘要：最优控制方法为解决安全关键问题提供了解决方案，但由于其复杂性，往往变得难以处理。控制障碍函数(CBFs)因其通过其前向不变性性质可以验证地保证安全性而成为一种流行的技巧，尽管这会带来一些性能损失。这种方法涉及定义一个性能目标以及基于CBF的必须始终遵循的安全约束。不幸的是，性能和解的可行性都严重受到两个关键因素的影响：(i) 成本函数及其参数的选择，以及(ii) 基于CBF的约束中的参数校准，这些约束捕获了性能与保守性的权衡。为了解决这些挑战，我们提出了一种基于强化学习(RL)的前瞻性控制(RHC)方法，利用具有CBF的模型预测控制(MPC-CBF)。特别是，我们参数化控制器并使用双层优化，其中RL用于学习最优参数，而MPC计算最优控制输入。我们通过将其应用于交叉道路中连接和自动化车辆(CAVs)的自动化合并控制问题来验证我们的方法。结果显示，与传统用于调参的启发式方法相比，该方法在性能上有所提升，并显著减少了不可行情况的数量，从而展示了所提方法的有效性。
arXiv:2403.14715v3 宣告类型: replace-cross
摘要: 标签平滑（LS）是一种流行的小波正则化方法，因为它在提高测试准确率方面效果显著且易于实现。通过均匀地将概率质量分配到其他类，从而减少过度拟合，“硬”的one-hot标签被“平滑”处理。已有研究表明，在某些情况下，LS 可能会降低选择性分类（SC）的效果——即利用模型的不确定性来拒绝错误分类。在本工作中，我们首先通过在广泛的大型任务和架构上进行经验验证，证明LS会一致地降低SC效果。然后填补了现有知识的空白，通过分析logit级梯度，对这种行为进行了解释：LS通过在预测正确时抑制最大logit更多，而在预测错误时抑制较少，从而破坏了正确预测和错误预测的不确定性排序。这解释了之前报告的实验结果，即强分类器在SC中的表现不佳。随后，我们展示了后处理logit归一化的实证有效性，以恢复由于LS导致的丢失的SC性能。此外，我们再次通过我们的梯度分析，提供了这种归一化为何有效的解释。
arXiv:2402.16882v2 伤者类型: replace-cross
摘要：合成方法的底物容忍性和普遍性通常在“底物范围”表中展示。然而，底物选择经常存在一个被广泛讨论的出版偏倚：不成功的实验或产量低的结果很少被报告。在这项工作中，我们通过一种新颖的神经网络训练策略——底物范围对比学习，深入探讨了这种出版偏倚与化学反应性的关系，而不仅仅是通过产量分布的简单分析。通过将已报告的底物视为正样本，未报告的底物视为负样本，我们的对比学习策略教会模型基于发表的底物范围表中的历史趋势，在数值嵌入空间内对分子进行分组。通过对2010-2015年间CAS内容集合$^{\text{TM}}$中的20,798个芳基卤化物的训练，我们证明了学习到的嵌入与物理有机反应性描述符之间存在相关性，这既通过直观的可视化分析也通过定量回归分析进行了展示。此外，这些嵌入还适用于各种反应建模任务，如产率预测和区域选择性预测，说明历史反应数据可以作为预训练任务的潜力。这项工作不仅展示了针对化学文献数据的一种新的特定化学领域的机器学习训练策略，而且还提供了一种独特的方法来揭示反映在出版物中底物选择趋势的化学反应性趋势。
arXiv:2402.01408v3 宣布类型: replace-cross
摘要：当前的深度学习模型并未被设计为同时解决三个基本问题：预测类别标签以解决给定的分类任务（“什么？”）、模拟情况的变化以评估这对类别预测产生了怎样的影响（“如何？”），以及设想如何改变场景以导致不同的类别预测（“为什么不这样？”）。无法回答这些问题代表了一个实施可靠AI代理、校准人类信任和改进人机交互的关键缺口。为了解决这一问题，我们引入了反事实概念瓶颈模型(CF-CBMs)，这是一种旨在一次性高效解决上述问题的模型，无需进行事后搜索。我们的实验结果表明，CF-CBMs：在分类准确性方面与黑盒模型和现有CBMs相当（“什么？”）、依赖较少的重要概念从而提供更简单的解释（“如何？”），并且产生可解释性、基于概念的反事实（“为什么不这样？”）。此外，我们展示了与CBM联合训练反事实生成器的两个关键改进：（i）它改变了模型的决策过程，使模型依赖较少的重要概念（从而提供更简单的解释），以及（ii）它显著增加了概念干预对类别预测因果效应，使模型对这些变化更加敏感。
arXiv:2312.06036v5 宣告类型: replace-cross
摘要：AI 挑战的结论并不是其生命周期的终点；确保持久影响需要精心策划的赛后活动。持久影响也需要有组织地进行。本章涵盖了挑战正式结束后进行的各种活动。本研究确定了赛后倡议的目标受众，并概述了收集和组织挑战输出的方法。列出了挑战的多个输出及其收集方法。章节的主体部分是一个典型的赛后论文模板，包括可能的图形以及将挑战转变为持久基准的建议。
arXiv:2312.04398v5 Announce Type: replace-cross
摘要：蓬勃发展的使用数字地图的导航服务为驾驶员提供了极大的便利。然而，车道渲染图中偶尔会出现异常，这些异常可能会误导人类驾驶员，从而导致不安全的驾驶条件。为应对这一问题并准确有效地检测异常，本文将车道渲染图像异常检测转化为分类问题，并提出了一种四阶段流水线，包括数据预处理、利用掩蔽图像建模（MiM）方法进行自监督预训练、基于交叉熵损失并结合标签平滑进行定制化微调，以及利用先进的深度学习技术进行后处理，尤其是涉及Transformer模型的技术。各种实验验证了所提出流水线的有效性。结果表明，所提出流水线在车道渲染图像异常检测中表现出优越性能，尤其是利用MiM进行自监督预训练可以显著提高检测准确性，同时大幅减少总训练时间。例如，使用带有统一掩蔽的Swin Transformer进行自监督预训练（Swin-Trans-UM）相较于未经预训练的纯Swin Transformer（Swin-Trans）在准确性上提高了94.77%并获得了0.9743的改进的面积下曲线（AUC）评分，而后者在准确性上为94.01%并获得了0.9498的AUC评分。微调的 epoch 数量从原来的280显著减少到41。总之，所提出流水线通过集成MiM等自监督预训练技术和其他先进的深度学习技术，成为增强数字导航系统中车道渲染图像异常检测准确性和效率的稳健解决方案。
arXiv:2310.02664v2 ANNOUNCE 类型: replace-cross
摘要：由于扩散模型能够生成新颖且高质量的数据样本，近年来它们吸引了大量研究兴趣。值得注意的是，扩散模型常见的训练目标，即去噪得分匹配，理论上存在最优解，但只能生成与训练数据样本相复制的数据。这表明理论上扩散模型会产生记忆行为，与当前最先进的扩散模型的通用泛化能力相矛盾，因此需要进一步理解。针对这一现象，我们首先观察到记忆行为更常出现在小规模数据集上，这促使我们定义了有效模型记忆（EMM）这一度量指标，用于衡量在何种大小的训练数据下学习到的扩散模型能够接近其理论最优解。然后，我们从EMM的角度定量分析了影响这些记忆行为的关键因素，重点关注数据分布、模型配置和训练过程。除了全面的经验结果识别了这些关键因素外，我们还惊讶地发现，将训练数据依据无信息随机标签进行条件化可以显著触发扩散模型中的记忆行为。我们的研究对于扩散模型用户具有实际意义，并为深度生成模型的理论研究提供了线索。代码可以在https://github.com/sail-sg/DiffMemorize获取。
arXiv:2307.06541v3 宣告类型: replace-cross
摘要：逆增强学习（IRL）算法通常依赖于（前向）增强学习或规划，在给定的时间范围内计算一个近似最优策略，以一个假设的奖赏函数为基础；然后将这个策略与专家演示进行匹配。时间范围在确定奖赏估计的准确性和IRL算法的计算效率方面起着关键作用。有趣的是，一个比真实值短的有效时间范围往往能更快地产生更好的结果。本文正式分析了这一现象，并提供了一个解释：时间范围控制了诱导策略类的复杂性，并在数据有限的情况下减轻过拟合。该分析为IRL有效时间范围的原理性选择提供了一条指南。它还促使我们重新审视经典的IRL形式化方法：与其使用给定的时间范围单独学习奖赏，不如联合学习奖赏和有效时间范围更为自然。为了验证我们的发现，我们实现了一个交叉验证扩展，实验结果支持了理论分析。该项目页面和代码均已公开。
arXiv:2306.13985v2 宣告类型: 替换-交叉
摘要：高维低样本大小（HDLSS）数据的分类在基因表达研究、癌症研究和医学成像等多种现实场景中构成了挑战。本文介绍了为HDLSS数据特别设计的一些分类器的发展和分析。这些分类器没有调参参数，并且在某种意义上是稳健的，即它们不依赖于底层数据分布的任何矩条件。证明在一些相当一般的情况下，它们在HDLSS渐近状态下可以实现完美的分类。还研究了所提分类器的相对性能。我们的理论结果得到了大量的模拟研究和实际数据分析的支持，这些数据证明了所提出分类技术相比于一些广泛认可的方法具有明显的优点。