arXiv:2503.03506v4 宣布类型：替代交叉
摘要：合成数据正成为一种成本有效的解决方案，以应对AI开发日益增长的数据需求，它可以来源于现有知识，也可以从真实数据中衍生而来。传统意义上将合成数据类型划分为混合型、部分合成或完全合成的数据集的分类方法具有一定的局限性，并未反映出生成合成数据方法的日益增多。生成方法及其来源共同塑造了合成数据的特性，进而决定了其实际应用。我们主张采用一种新的方法来分组合成数据类型，以更好地反映隐私视角，从而便利合成数据生成和处理的监管指导。这种分类方法提供了对新兴技术如深度生成方法的灵活性，并为未来应用提供了更实用的框架。
arXiv:2502.18682v2 宣告类型: replace-cross
摘要：人工智能系统常常伴随着高的期望被引入，但许多系统未能兑现，导致未预见的危害和错失了利益的机会。我们经常观察到显著的“AI不匹配”，即系统的实际性能未能达到确保安全和共同创造价值所需的标准。这些不匹配在开发过程中尤为难以解决，突显了早期干预的必要性。导航导致AI不匹配的复杂、多维风险因素是一项持续的挑战。为了应对这一挑战，我们提出了一种AI不匹配方法，以早期预见和缓解风险，重点关注现实模型性能与所需任务性能之间的差距。通过对774个人工智能案例的分析，我们提取出一组关键因素，这为开发出七个矩阵提供了依据，这些矩阵映射了这些因素之间的关系并突显了高风险区域。通过案例研究，我们展示了我们的方法如何有助于降低人工智能开发中的风险。
arXiv:2502.12012v2 通知类型: 交叉替换
摘要：变分量子算法，如递归量子近似优化算法（RQAOA）等，已经变得越来越受欢迎，它们为利用有噪中等规模量子设备解决最大割问题等棘手的组合优化任务提供了有希望的途径。在这个研究中，我们利用了一个配备有独特适应度函数的进化算法。这种方法在图自编码器的潜在空间中针对难以解决的最大割实例进行目标识别，与经典的Goemans和Williamson算法相比，识别那些对RQAOA构成重大挑战或特别易于解决的实例。我们的发现不仅界定了每种算法的独特能力和局限性，还扩展了我们对RQAOA操作极限的理解。此外，我们生成的多样化图集作为关键的基准工具，突显了开发更高级算法以应对组合优化挑战的必要性。此外，我们的结果为图生成研究开辟了新的方向，为未来的研究提供了令人兴奋的可能性。
arXiv:2502.10436v3 公告类型: replace-cross
摘要：进化模型合并能够创建高性能的多任务模型，但仍然由于计算密集性，在消费者硬件上不可行。我们提出了一种名为MERGE$^3$的有效框架，该框架通过将计算适应度的成本降低50倍，同时保持性能，在单个GPU上使进化合并变得可行。MERGE$^3$ 通过提取用于评估的缩减数据集、使用项目反应理论（IRT）估算模型能力以及通过基于IRT的性能估算器进化最优合并，实现了这一点。我们的方法使得最先进的多语言和跨语言合并成为可能，能够在显著降低计算开销的情况下，跨语言转移知识。我们提供了理论保证并开源了一个库，使高质量模型合并更加普及。
arXiv:2502.07154v2 宣布类型：替换交叉
摘要：大型语言模型（LLMs）的最近进展突显了将测试时计算能力扩展到复杂任务（如数学推理和代码生成）中以实现强大性能的能力。这提出了一个关键问题：在后续的测试时计算策略和预算下，应该如何修改模型训练以优化性能？为了探讨这个问题，我们集中在pass@N上，这是一种简单的测试时策略，它在N个独立样本中搜索正确答案。我们惊奇地发现，使用交叉熵（CE）损失进行训练可能会与pass@N不一致，具体表现为随着训练时间的延长，pass@N准确性下降。我们将这种不一致的根源归因于由CE引起的模型过度自信，并通过实验验证了过度自信作为通过pass@N扩展测试时计算能力的障碍。此外，我们建议一种原理上更符合pass@N的训练损失，通过限制模型信心并恢复pass@N测试性能，更好地匹配pass@N。我们的算法在多种场景下展示了在MATH和MiniF2F基准上的数学推理改进表现：（1）回答数学问题；（2）通过搜索不同形状的证明树来证明定理。总体而言，我们的工作强调了重新设计LLM开发中两个传统上独立阶段的重要性：训练时协议和测试时搜索与推理策略。
arXiv:2502.03897v4 宣告类型: replace-cross
摘要：随着扩散模型的兴起，音频-视频生成得到了革命性的变革。然而，大多数现有方法依赖于为每种模态单独设计的模块，对统一生成架构的探索有限。此外，许多方法局限于单一任务和小型数据集。为了解决这些限制，我们首先提出了UniForm，这是一种统一的多任务扩散变换器，它在共享的潜在空间中联合生成音频和视觉模态。单一的扩散过程同时建模音频和视频，捕捉声音和视觉之间的固有相关性。其次，我们引入了任务特定的噪声方案和任务令牌，使单一模型能够支持多种任务，包括文本到音频-视频、音频到视频和视频到音频生成。此外，通过利用大型语言模型和大规模的文本-音频-视频组合数据集，UniForm 达到了比先前方法更大的生成多样性。广泛的实验表明，UniForm 在音频-视频生成任务中达到了最先进的性能，生成的内容与现实世界的数据分布高度一致。我们的演示可以在 https://uniform-t2av.github.io/ 获取。
arXiv:2502.03047v2 通知类型: replace-cross
摘要：遗传编程是一种受进化启发的优化算法，能够自动演化可解释的计算机程序的结构。遗传编程中的适应度评估面临着高计算要求的限制，限制了其在难题上的性能。因此，目前没有适用于广泛任务的高效遗传编程框架。为了解决这个问题，我们开发了Kozax，一个能够演化任意问题的符号表达式的遗传编程框架。我们使用JAX实现了Kozax，这是一个高性能和可扩展的机器学习框架，这使得适应度评估能够有效地扩展到大型种群或数据集中的GPU上。此外，Kozax提供了连续优化、自定义运算符定义和同时演化多个树的功能。我们展示了Kozax在发现自然定律方程、恢复隐藏动态变量的方程、演化控制策略和优化目标函数方面的成功应用。总的来说，Kozax提供了一个通用、快速和可扩展的库，用于在科学计算领域优化白盒解决方案。
arXiv:2502.01089v2 宣告类型: replace-cross
摘要：本文探讨了一系列旨在简化网络操作、降低运营支出（OpEx）并使新服务模式得以部署的前沿技术和架构创新。重点在于：(i) 提出新型更为高效的6G架构，这两者之间能够无缝扩展服务，同时应对长期的6G网络演进。(ii) 探索受约束的人工智能（AI）操作的先进技术，特别是设计能够进行实时学习、优化能耗和分配计算资源的AI代理。(iii) 确定支持跨多个领域编排后端服务的技术和架构，特别适用于垂直行业。(iv) 引入基于光学技术的超高速、低延迟网络架构，具有快速光学切换和实时控制，用以取代传统的电子切换，从而减少能耗达一个数量级。
arXiv:2501.17688v3 公告类型: replace-cross
摘要：本文介绍了Contourformer，这是一种基于实时轮廓的实例分割算法。该方法完全基于DETR范式，并通过迭代和渐进机制来优化轮廓，实现了端到端的推理。为了提高效率和准确性，我们开发了两种新的技术：子轮廓解耦机制和轮廓细粒度分布精炼。在子轮廓解耦机制中，我们提出了一种基于可变形注意机制的模块，根据当前预测的轮廓自适应地选择采样区域，从而更有效地捕获对象边界信息。此外，我们设计了一种多阶段优化过程，通过逐步精炼子轮廓来提高分割精度。轮廓细粒度分布精炼技术旨在进一步提高表达轮廓细部的能力。这些创新使Contourformer能够稳定且精确地对每个实例进行分割，同时保持实时性能。大量的实验证明了Contourformer在包括SBD、COCO和KINS在内的多个基准数据集上的优越性能。我们进行了全面的评估和与现有最先进的方法的比较，显示了在准确性和推理速度方面的显著改进。这项工作为轮廓基于的实例分割任务提供了一个新的解决方案，并为未来的研究奠定了基础，有可能成为该领域的强大基线方法。
arXiv:2501.16371v2 宣布类型: 替换-交叉
摘要: 物理知情神经网络（Physics-Informed Neural Networks，PINNs）通过将偏微分方程（PDEs）整合到神经网络的训练过程中作为软约束，革新了PDE解的计算，成为科学机器学习（SciML）生态系统中的重要组成部分。最近，物理知情的柯尔莫哥洛夫-阿诺尔德网络（Physics-Informed Kolmogorv-Arnold networks，PIKANs）也显示出与PINNs相当且准确度相似的效果。在当前实现中，PINNs和PIKANs主要使用Adam等一阶方法以及BFGS及其低内存变体L-BFGS等拟牛顿方法进行优化。然而，这些优化器通常难以处理高度非线性和非凸的损失景观，导致诸如收敛速度慢、局部最小值陷阱和鞍点（非）退化等问题。在本研究中，我们探讨了Self-Scaled BFGS（SSBFGS）方法、Self-Scaled Broyden（SSBroyden）方法以及其他先进的拟牛顿方案，包括使用不同线搜索策略的BFGS和L-BFGS。这些方法基于历史梯度信息动态调整更新，从而提高了训练效率和准确性。我们系统地比较了这些优化器——使用PINNs和PIKANs——在关键的线性、刚性、多尺度和非线性PDEs上的表现，包括Burgers方程、Allen-Cahn方程、Kuramoto-Sivashinsky方程和Ginzburg-Landau方程。我们的发现提供了在不使用自适应权重或其他通常在PINNs中使用的增强技术的情况下，实现最先进的结果，并且在准确度方面提高了多个数量级。更广泛地说，我们的结果揭示了二阶优化策略在显著提高PINNs和PIKANs的收敛性和准确泛化能力方面的重要作用。