arXiv:2306.02611v3 宣告类型：替换-交叉
摘要：进化算法（EAs）因其基于群体的搜索性质而广泛且成功地应用于多目标优化问题的求解。在多目标进化算法（MOEAs）中，群体更新是一个关键组成部分，通常以贪婪且确定性的方式来执行。也就是说，下一代群体是由当前群体和新生成的解中最佳的解组成的（不论选择的标准是什么，例如帕累托支配、拥挤度和指标）。在本文中，我们通过分析证明了随机群体更新对MOEAs的搜索是有益的。具体而言，我们证明了两种成熟的MOEAs，SMS-EMOA和NSGA-II，解决两个多目标问题，OneJumpZeroJump和双目标RealRoyalRoad的期望运行时间可以通过将确定性群体更新机制替换为随机性机制来指数级地减少。实验研究也验证了所提出的群体更新方法的有效性。本工作尝试展示将随机性引入MOEAs的群体更新中的益处。其正向的结果，可能更加广泛地适用，应该鼓励在该领域开发新的MOEAs。
arXiv:2305.18413v3 通知类型: 替换交叉
摘要：数据免费元学习（DFML）旨在通过从预训练模型集合中进行元学习来高效地学习新任务，而不需要访问训练数据。现有的DFML工作只能从（i）白盒模型和（ii）小型预训练模型（iii）具有相同架构的模型中进行元学习，忽视了用户只能访问具有任意模型架构和模型规模的API推理接口的更加实际的设置。为了解决这一问题，我们提出了一种双向数据免费元知识蒸馏（BiDf-MKD）框架，以从一组黑盒API中转移更通用的元知识到一个单一的元模型。具体而言，通过仅仅查询API，我们使用零阶梯度估计器将每个API反转以恢复其训练数据，然后通过一种新颖的双向元知识蒸馏结构进行元学习，在该结构中，我们设计了一种边界查询集合恢复技术，以恢复决策边界附近更具信息量的查询集。此外，为了在API预算有限的设置中促进更好的泛化，我们提出了任务记忆重放，通过覆盖更多插值任务来多样化底层任务分布。在各种真实世界场景中的广泛实验显示了我们提出的BiDf-MKD框架的优越性能。
arXiv:2305.05351v4 宣告类型: replace-cross
摘要：神经架构搜索（NAS）已经成为设计自动最优神经网络架构的有效方法之一。尽管神经架构在多项任务中达到了人类级别的性能，但很少有架构是通过NAS方法获得的。主要原因在于神经架构的巨大搜索空间，使得NAS算法效率低下。本工作提出了一种新的架构搜索算法，称为GPT-NAS，该算法通过生成预训练（GPT）模型结合演化算法（EA）作为搜索策略来优化神经架构。在GPT-NAS中，我们假设在大规模语料库上预训练的生成模型可以学习构建神经架构的基本法则。因此，GPT-NAS 利用 GPT 模型根据基本架构提出合理的架构组件，然后利用 EA 在搜索过程中寻找最优解。这种方法可以通过在搜索过程中引入先验知识大大减少搜索空间。广泛的经验结果表明，我们的GPT-NAS方法显著优于七种手工设计的神经架构和十三种来自竞争NAS方法的架构。此外，我们的实验还表明，与不使用GPT的架构相比，所提出的算法最多可以提高约12%的精细调优神经架构的性能，进一步证明了其在搜索神经架构方面的有效性。
arXiv:2304.07143v5 通知类型: replace-cross
摘要：跟车（Car-Following，CF）算法是交通仿真中的关键组成部分，并已被集成到许多配备高级驾驶辅助系统（ADAS）的生产车辆中。从跟车行为模型中获得的见解有助于我们理解车辆间相互作用引发的各种宏观现象的原因。跟车模型涉及多个学科，包括交通工程、物理学、动态系统控制、认知科学、机器学习和强化学习。本文综述了基于其基本原理和设计逻辑，微观交通流和控制模型之间的差异、互补性和重叠之处。回顾了代表性的算法，从基于理论的运动学模型、心理物理模型和自适应巡航控制模型，一直到数据驱动的算法如强化学习（Reinforcement Learning，RL）和模仿学习（Imitation Learning，IL）。本文讨论了这些模型的优势和局限性，并探讨了它们在不同场景中的应用。这篇综述整合了不同领域的现有研究，填补了知识空白，并通过识别跟车模型及其应用的最新趋势为未来研究提供指导。
arXiv:2303.11183v3 宣布类型: replace-cross
摘要：数据免费元学习的目标是在无需访问其训练数据的情况下，从一组预训练模型中学习有用的先验知识。然而，现有工作仅在参数空间中解决该问题，这存在以下问题：(i) 忽略了预训练模型中包含的丰富数据知识；(ii) 无法扩展到大规模预训练模型；(iii) 只能对具有相同网络架构的预训练模型进行元学习。为了解决这些问题，我们提出了一种统一的框架，称为PURER，该框架包含：(1) 数据免费元训练期间的伪阶段课程反转（ECI）；和(2) 元测试期间的内环校准反转（ICFIL）。在元训练期间，我们提出ECI来执行伪阶段训练，以学习快速适应新的未见过的任务。具体而言，我们通过从中每个预训练模型提炼训练数据的方式，逐步合成一序列的伪阶段。ECI根据元模型的实时反馈自适应地增加伪阶段的难度。我们将带有ECI的元训练优化过程以端到端的方式形式化为对抗形式。在元测试期间，我们进一步提出一个简单的插件补充-ICFIL仅用于元测试，以缩小元训练和元测试任务分布之间的差距。在各种实际场景下的广泛实验表明，我们的性能优越。
arXiv:2303.09280v3 公告类型: replace-cross
摘要: 大多数非侵入成像技术利用源自多个位置和方向的电磁波或声波来识别隐藏的几何结构。惊讶的是，通过观察物体暴露表面的响应，仅用一次静态热载荷或机械载荷实验也能够成像埋藏的空隙和包埋物，但这一问题在逆向操作中极具挑战性。尽管物理感知神经网络（PINNs）显示出作为简单而强大的逆向操作工具的潜力，但它们尚未被应用于具有先验未知拓扑结构的成像问题中。在这里，我们引入了一种基于PINNs的拓扑优化框架，利用单次载荷实验暴露表面的数据来识别隐藏的几何结构，而无需事先知道形状的数量和类型。通过将几何结构表示为材料密度场并与一种新颖的eikonal正则化技术结合，我们可以任意设定解的拓扑结构。我们通过检测许多2D和3D示例情况下的隐藏空隙和包埋物的数量、位置和形状，验证了我们的框架，展示了该方法对数据噪声和稀疏性的鲁棒性。我们的方法为PINNs解决工程中的几何优化问题开辟了一条途径。
arXiv:2302.10434v2 通知类型: 替换-交叉
摘要：近年来，收集了大量的与慢性疾病相关的电子健康记录（EHRs），以促进医学诊断。通过动态治疗策略（DTRs）可以有效地建模与慢性疾病相关的动态特性。虽然强化学习（RL）是创建DTRs的广泛应用方法，但在处理大量数据方面开发有效的RL算法的研究仍在继续。在本文中，我们提出了一种可扩展的基于核的分布式Q学习算法，用于生成DTRs。我们对所提出的方法进行了理论评估和数值分析。结果表明，与最先进的深度强化学习方法相比，我们的算法显著降低了计算复杂性，同时在生存时间或累积生存概率等各阶段累计奖励的泛化性能方面保持了相当的表现。
arXiv:2211.01201v5 通知类型: 替换-交叉
摘要：今天的计算机视觉模型在多种视觉任务上实现了人类或接近人类的性能。然而，它们的架构、数据和学习算法与导致人类视觉的那些存在许多不同之处。在本文中，我们研究了影响神经网络学习的表示与从行为反应推断出的人类心理表示之间对齐的因素。我们发现，模型规模和架构对与人类行为反应的对齐几乎没有影响，而训练数据集和目标函数都对其产生了更大的影响。这些发现在这三个使用两种不同任务收集的人类相似性判断数据集中是一致的。从一个数据集中通过行为反应学习的神经网络表示进行的线性变换，在其他两个数据集的人类相似性判断中显著提高了对齐程度。此外，我们发现一些人类概念如食物和动物由神经网络很好地表示，而其他如皇室或与体育相关的物体则没有。总体而言，虽然在更大、更多样化的数据集上训练的模型与仅在ImageNet上训练的模型相比，在对齐度上更好，但我们的结果表明，仅仅通过扩展规模不太可能足以训练出具有与人类使用的概念表示相匹配的概念表示的神经网络。
arXiv:2201.05760v5 通知类型: replace-cross
摘要：来自普遍交通监测传感器收集的速度、流量和旅行时间等交通状态数据需要高级网络级别分析来进行预测和识别重要交通模式。本文利用了加利福尼亚州运输部绩效测量系统（PeMS）托管在开放基准上的多元交通状态数据集，并在与广泛认可的空间-时间模型相比时取得了令人满意的表现。受到各种人工智能（AI）任务中层级架构成功应用的启发，我们将低级到高级的长短期记忆（LSTM）网络中的单元状态和隐藏状态与注意池化机制集成起来，类似于人类感知系统。开发的层级结构旨在考虑不同时间尺度之间的依赖性，捕捉网络级交通状态的空间-时间相关性，从而能够预测所有走廊的交通状态，而不仅仅是单一的链路或路径。通过消融研究分析了所设计的基于注意力的LSTM的效率。与基线LSTM模型的比较结果显示，层级注意力LSTM（HierAttnLSTM）模型不仅提供了更高的预测准确性，还有效地预测了异常拥堵模式。数据和代码已公开，以支持可重现的科学研究。
arXiv:2104.08620v4 Announce Type: replace-cross
摘要：密谜填字在英国占据主导地位，是推进处理语义复杂、高度组合语言的NLP系统的有前途的目标。密谜线索看起来像流畅的自然语言，但对抗性地由两部分组成：定义和需要字符级操作的字话密码。专家人类使用创造性的智能来解决密谜，灵活地结合语言知识、世界知识和领域知识。在这篇论文中，我们做出了两项主要贡献。首先，我们提出了一组密谜线索作为挑战性的新基准，用于寻求以更创作、更人性化的方式处理组合语言的NLP系统。在展示三种非神经网络方法和最先进的神经语言模型T5均未能取得良好性能后，我们做出了第二项主要贡献：一种新颖的阶梯式方法，其中模型首先在诸如消字词这样相关的任务上进行微调。我们还引入了一个具有挑战性的数据划分方法，研究了子词标记模型的元语言能力，并通过干扰线索中的字话部分探索模型的系统性，展示了T5的行为部分与人类解谜策略一致。尽管我们的阶梯式方法在T5基线上取得了显著的改进，但我们的最佳模型仍然无法像人类那样进行泛化。因此，密谜填字仍然是NLP系统未解决的挑战，并且是一个潜在的未来创新来源。