arXiv:2404.19756v5 宣传类型: 替换交叉
摘要：受柯莫哥洛夫-阿诺尔德表示定理的启发，我们提出了柯莫哥洛夫-阿诺尔德网络（KANs）作为多层感知机（MLPs）的有希望的替代方案。尽管MLPs在节点（“神经元”）上具有固定的激活函数，KANs在边（“权重”）上具有可学习的激活函数。KANs完全没有线性权重——每个权重参数均由一个参数化的样条函数替换。我们展示了这种看似简单的变更使得KANs在准确性和可解释性方面超过了MLPs。在准确度方面，比MLPs大得多的KANs可以在数据拟合和偏微分方程求解中获得相当或更好的准确度。从理论和经验来看，KANs具有比MLPs更快的神经网络缩放法则。在可解释性方面，KANs可以直观地可视化并很容易与用户互动。通过两个数学和物理领域的例子，人们展示了KANs作为科学家（重新）发现数学和物理定律的有益合作者的作用。总之，KANs是MLPs的有希望的替代方案，为正在大量依赖MLPs的今天深度学习模型的进一步改进提供了机会。
arXiv:2404.11016v2 宣告类型: 替换-交叉
摘要: 在本文中，我们介绍了一种新的自动编码器模型MaeFuse，该模型专为红外和可见光图像融合（IVIF）设计。现有的图像融合方法通常依赖于结合下游任务进行训练以获得高级视觉信息，这种方法在强调目标对象和在视觉质量和特定任务应用中取得惊人成果方面是有效的。与依赖于下游任务不同，我们的模型MaeFuse利用来自掩码自动编码器（MAE）的预训练编码器进行低级重建和高级视觉任务的全方位特征提取，从而以较低的成本获得易于感知的特征。为了消除不同模态特征之间的领域差距以及MAE编码器导致的块效应，我们进一步开发了一种引导式训练策略。该策略精心设计，以确保融合层无缝调整到编码器的特征空间，逐步提高融合性能。所提出的方法可以促进来自红外和可见光模态的特征向量的综合集成，从而保留每个模态固有的丰富细节。MaeFuse不仅在融合技术领域提供了新颖的视角，而且在各种公开数据集中表现出色。
arXiv:2404.08417v2 宣告类型: replace-cross
摘要：大规模语言模型（LLMs）越来越有能力通过回忆静态预训练语料中的信息来完成知识密集型任务。在此背景下，我们关注LLMs在数据需求不断变化的情况下的应用。例如：周期性引入的新数据批次；具有用户级访问控制的数据子集；或对文档进行动态删除以确保关联知识不再被回忆的要求。我们希望通过满足这些要求同时确保模型在新数据可用时不会忘记旧信息。为此，我们提出了AdapterSwap，这是一种训练和推理方案，将数据集中的知识组织成一组低秩适配器，在推理过程中动态组合。我们的实验展示了AdapterSwap支持高效连续学习的能力，同时使组织能够对数据访问和删除拥有细粒度控制。
arXiv:2404.08068v2 宣告类型: 替换-交叉
摘要：轨迹生成是运动研究中的一个重要任务；它绕过了从目标群体收集真实轨迹所面临的隐私、伦理和技术挑战。特别是，由于收集过程中的伦理和环境限制，野生动物领域的实际轨迹数据稀缺。在本文中，我们考虑了基于少量真实样本生成长周期轨迹的问题，类似于野生动物迁徙。我们提出了一种层次化方法来学习真实数据集的全局运动特征，并递归地细化局部区域。我们的解决方案WildGraph将地理路径离散化为H3（https://www.uber.com/blog/h3/）区域的原型网络，并利用递归变分自动编码器根据占用情况生成基于概率的路径。WildGraph使用样本大小仅为60的数据成功生成了现实的数月长的轨迹。实验在两个野生动物迁徙数据集上进行，表明我们提出的方法在生成轨迹的泛化能力上优于现有工作，且在多个基准指标上取得了优越或可比的性能。我们的代码已发布在以下仓库：https://github.com/aliwister/wildgraph。
arXiv:2404.07738v2 通知类型: 交叉替换
摘要：科学研发的步伐对于提高人类生活至关重要，但它往往是复杂、缓慢的，并需要特定的专业知识。与此同时，新颖且具有重大影响的研究通常源自对以前工作的深刻理解以及不同领域和学科之间思想的交叉融合。为了增强研究人员的生产力，我们提出了 ResearchAgent，该系统利用大型语言模型（LLMs）的百科知识和语言推理能力，来帮助他们进行研究工作。该系统自动定义新颖的问题，提出方法并设计实验，并根据协作的 LLM 助力审查代理的反馈进行迭代优化。具体来说，从一篇核心科学论文开始，ResearchAgent 不仅通过学术图谱连接相关信息，还通过知识存储中的实体来增强，这些实体是从大量论文中提取的共享基本概念中提取出来的。然后，我们借鉴了科学上以同行讨论来改进想法的方法，利用多个基于 LLM 的审查代理来进行迭代修订过程并提供审查和反馈。这些审查代理以与人类偏好一致的 LLM 实例化，其评估标准是通过 LLM 催化从实际人类判断中提取出来的。我们在多个学科的科学出版物上实验验证了我们的 ResearchAgent，展示了它在基于人类和模型评估结果生成新颖、清晰且符合实际想法方面的有效性。我们初步通过人工智能介导的科学研究为未来旨在支持研究人员在创新想法和实际操作中的系统的开发提供了重要启示。
arXiv:2403.16218v3 宣布类型: replace-cross
摘要：测试是软件开发中的一个核心部分。测试生成工具试图自动化原本耗时的手动测试创建任务，但生成高覆盖率的测试仍然具有挑战性。本文提出了一种名为CoverUp的新颖方法，用于驱动高覆盖率的Python回归测试生成。CoverUp结合了覆盖率分析、代码上下文和提示中的反馈，逐步指导LLM生成提高行覆盖率和分支覆盖率的测试。我们使用来自开源Python项目的具有挑战性的代码基准对CoverUp的原型实现进行了评估，并展示了CoverUp在现有技术基础上有了显著改进。与CodaMosa这种结合搜索和LLM的测试生成器相比，CoverUp在每模块中行+分支覆盖率的中位数为80%（对比47%）。与MuTAP这种基于突变和LLM的测试生成器相比，CoverUp的整体行+分支覆盖率达到了90%（对比77%）。我们还证明，CoverUp的性能不仅来自于所使用的LLM，还来自于其各个组件的有效结合。
arXiv:2403.11345v2 公告类型: replace-cross
摘要：在本论文中，我们探讨了组内合作但组间存在非零和竞争的代理团队之间的强化学习（RL）。为开发一种可证明实现纳什均衡的RL方法，我们关注线性二次结构。此外，为应对有限人群设置中多代理交互引起的非稳态问题，我们考虑每个团队内代理数无限的情形，即均值场设置。这导致了一种总体收益型线性二次均值场类型游戏（GS-MFTG）。在标准可逆条件下，我们刻画了GS-MFTG的纳什均衡（NE）。然后我们表明，这种MFTG的NE对于每个团队中代理数下限为M的有限人群游戏来说是O(1/M)均衡。这些结构结果推动了多代理后视型自然策略梯度算法（MRNPG）的提出，其中每个团队以后视型的方式独立最小化其累计成本。尽管问题是非凸的，我们通过一个新的问题分解方法——利用逆递归离散时间哈密顿-雅可比-伊斯阿斯（HJI）方程，将问题分解成子问题，证明了所提出的算法通过独立自然策略梯度在线性收敛的情况下可以收敛到全局纳什均衡。理论结果中的数值研究进一步证实了这些结论。
arXiv:2403.10231v2 通知类型: replace-cross
摘要：为了从知识图谱（KG）中推导出新的事实，链接预测器通过对图结构的学习并收集局部证据来回答给定的查询。然而，现有的方法由于利用整个KG进行预测而面临着严重的可扩展性问题，这阻碍了它们在大规模KG上的应用，并且无法通过简单的抽样方法直接解决。在这项工作中，我们提出了单次子图链接预测，以实现高效和自适应的预测。设计原则是，而不是直接作用于整个KG，预测过程被分解为两个步骤，即(i) 根据查询提取仅一个子图，以及(ii) 在这个单一的、查询依赖的子图上进行预测。我们揭示了无参且计算高效的启发式方法Personalized PageRank（PPR）能够有效识别潜在的答案和支持证据。通过基于子图的高效预测，我们进一步介绍了在数据空间和模型空间中自动搜索最佳配置的方法。实证上，我们在五个大规模基准测试中实现了提升的效率和领先的性能。该代码已公开发布在：https://github.com/tmlr-group/one-shot-subgraph。
arXiv:2403.08505v5 通知类型: replace-cross
摘要：现有的基于学习的立体图像编码器采用复杂的转换，但熵模型来自于单图像编码器，较为简单，难以有效地捕捉立体图像中固有的空间-视差特征，导致次优的率失真结果。本文提出了一种名为CAMSIC的立体图像压缩框架。CAMSIC独立地将每幅图像转换为潜在表示，并采用一个强大的无解码器Transformer熵模型来捕捉空间和视差依赖性，通过引入一种新型的内容感知掩码图像建模（MIM）技术。我们内容感知的MIM促进了先验信息和估计令牌之间的有效双向交互，自然地避免了额外的Transformer解码器的需要。实验表明，我们的立体图像编码器在Cityscapes和InStereo2K两个立体图像数据集上实现了最先进的率失真性能，并且具有快速的编码和解码速度。代码可在https://github.com/Xinjie-Q/CAMSIC获得。
arXiv:2403.02107v4 通知类型: 替换-交叉
摘要：几乎所有强化学习方法都很大程度上受到获得有效动作值函数估计所需的计算努力和数据需求的影响，而这些估计值又决定了整体性能和学习过程的样本效率。通常，动作值函数是通过交替应用贝尔曼算子的经验近似和随后将结果投影到一个考虑的功能空间中来估计的。观察到这种方法可以潜在地推广，以一次进行多次贝尔曼算子的迭代，从而为底层的学习算法提供好处。然而，直到现在，有效地实施这一想法，在高维问题中尤为具有挑战性。在本文中，我们介绍了一种迭代Q网络（i-QN）的新颖原理方法，该方法通过学习一个定制的动作值函数序列，其中每个动作值函数都作为下一个动作值函数的目标，实现了连续的多次贝尔曼更新。我们证明了i-QN在理论上有坚实的依据，并且可以无缝地用于基于值和演员-评论家方法中。我们通过在Atari 2600 游戏和MuJoCo 连续控制问题上进行实验证明了i-QN的优势。