arXiv:2504.05408v1 安全公告类型：交叉
摘要：随着前沿人工智能的迅速发展，了解其对网络安全的影响以及固有风险，对于确保安全的人工智能进化（例如，指导风险缓解并为政策制定者提供建议）至关重要。虽然有一些研究回顾了人工智能在网络安全中的应用，但没有一项研究全面讨论人工智能未来的潜在影响或提供具体建议，以确保其安全和安全的使用。本文深入分析了前沿人工智能对网络安全的影响，并建立了一个系统性的框架来进行风险评估和缓解。为此，我们首先定义并分类了前沿人工智能在网络安全中的边缘风险，然后系统地分析了现阶段和未来前沿人工智能在网络安全中的影响，从定性和定量两方面进行分析。我们还讨论了从等价类、不对称性和经济影响角度来看，为何在短期内前沿人工智能更有利于攻击者而不是防御者。接下来，我们探讨了前沿人工智能对未来软件系统开发的影响，包括启用复杂混合系统的同时引入新的风险。基于我们的发现，我们提供了安全建议，包括构建细粒度基准进行风险评估、设计用于防御的人工智能代理、构建混合系统中的安全机制和可证明防御措施、增强预部署安全测试和透明度，并加强用户的安全防御。最后，我们提出了对于理解人工智能未来影响和释放其防御能力至关重要的长期研究问题。
arXiv:2504.05407v1 类别：交叉学科
摘要：有效的调度仍然是各个领域中的一个关键挑战，需要解决复杂的NP难优化问题，以实现最优资源分配并最大化生产效率。本文介绍了一个名为基于Transformer的任务调度系统（TRATSS）的框架，该框架旨在解决基于图的环境中的单个代理调度的复杂性。通过将最新的强化学习进展和Transformer架构集成，TRATSS提供了一个新颖的系统，该系统能够输出优化的任务调度决策，并能够动态适应不断变化的任务需求和资源可用性。利用Transformer中的自注意力机制，TRATSS有效地捕捉复杂任务依赖关系，从而提供具有增强资源利用和任务完成效率的解决方案。在基准数据集上的实验评估表明，TRATSS在涉及多种行动配置的调度问题中能提供高质量的解决方案。
arXiv:2504.05405v1 Announce Type: cross
摘要：我们研究了状态空间庞大的环境中的强化学习（RL），在这种情况下，需要使用函数近似来实现样本高效的学习。我们从先前工作的漫长历史中脱颖而出，考虑了功能近似的最弱形式，称为无知策略学习，其中学习者的目标是在给定的类别$\Pi$中找到最佳策略，没有保证$\Pi$包含底层任务的最优策略。尽管众所周知，在标准在线RL设置中，没有进一步假设下实现样本高效的无知策略学习是不可能的，但我们探讨了通过更强形式的环境访问来克服这一点的程度。具体而言，我们展示了以下几点：1. 即使策略类别是可以实现的，如果仅提供一个局部模拟器（可以从其中重置到任意之前观察到的状态）的访问，无知策略学习依然在统计上是不可解决的。这个结果与[MFR24]中在局部模拟器访问存在下的可实现性值基学习的可解决问题形成对比。2. 即使提供一个具有良好状态空间覆盖性质的重置分布的在线访问（所谓的$\mu$-重置设置），无知策略学习依然在统计上是不可解决的。我们还探讨了更强形式的功能近似在策略学习中的应用，证明了在没有策略完备性的情况下，PSDP[BKSN03]和CPI[KL02]是不可靠的。3. 面向积极的一面，我们证明了对于具有上述两种重置模型的块MDP，无知策略学习在统计上是可解决的。我们通过一个新的算法来建立这一点，该算法精心构建了一个策略仿真器：一个小状态空间的表格MDP，它可以逼近所有策略$\pi \in \Pi$的价值函数。这些价值是通过没有任何显式价值函数类的方式进行逼近的。
arXiv:2504.05400v1 宣告类型：交叉
摘要：三维重组是一项具有广泛科学应用领域的挑战性的空间智能任务。尽管大规模合成数据集促进了基于学习的方法的发展，但它们在不同领域的泛化能力有限。关键问题是，已训练于合成数据集上的模型是否能在现实世界的断裂中泛化，因为其中的断裂模式更为复杂。为了弥合这一差距，我们提出了一种用于现实世界断裂的可泛化三维重组框架GARF。GARF利用断裂感知预训练从个体碎片中学习断裂特征，通过流动匹配实现精确的6-DoF对齐。在推理阶段，我们引入了一步预装配，提高了对未见过的物体和不同数量断裂的鲁棒性。与考古学家、古人类学家和鸟类学家的合作中，我们编纂了Fractura，这是一个适用于视觉和学习社区的多样化数据集，涵盖了陶器、骨头、蛋壳和石器的现实世界断裂类型。全面的实验结果显示，我们的方法在合成数据集和现实世界数据集上均优于现有最佳方法，旋转误差降低了82.87%，部分准确性提高了25.15%。这表明，在合成数据上进行训练可以推动现实世界三维拼图解决的发展，展示了其在未见过物体形状和多样化断裂类型方面的强大泛化能力。
arXiv:2504.05365v1 类型: cross
摘要: 卷积神经网络(CNNs)的概念和多智能体系统是人工智能(AI)研究中的两个重要领域。在本文中，我们提出了一种方法，利用基于CNN的AI智能体群作为单一系统来执行环境中的多项任务（例如预测或分类）。所提出的系统模仿了生物系统的自然环境，类似于蚂蚁群或人类群。作为角色基础系统的所提出的AI群通过引入快速学习者、详细学习者和组织学习者，独特地贡献于实现环境中的任务。这些学习者可以增强其局部学习以及作为一个单一系统的AI智能体群的集体决策。这种方法通过遗传算法及其交配和变异机制，还增强了AI群的多样性和质量。通过引入一种一对一的映射关系，分别与预训练的VGG16、VGG19和ResNet50模型相关联，实现了AI群中快速、详细和组织学习者的进化。通过称为AI的“婚内”和“婚外”婚配的过程，使用AI模型创建两个家长AI智能体，它们可以根据概率规则共享其学习知识（权重和偏差），并生成多样化的子AI智能体以执行新任务。这一过程将形成由多模型和混合模型AI智能体组成的AI群，以提高多样性和质量。模拟结果显示，使用VGG16、VGG19和ResNet50模型构建的AI群可以提供一个单一系统，生成具有出色预测性能（F1分数在82%到95%之间）的子AI智能体，从而在任务中做出多样化的集体和高质量的决策。
arXiv:2504.05364v1 交叉公告类型
摘 要: 尽管音乐仍然是生成模型（如变压器）的一个具有挑战性的领域，但最近一种两管齐下的方法已被证明是成功的：将与音乐相关的结构信息插入到位置编码（PE）模块中，并使用基于随机傅里叶特征（RFF）的核近似技术将计算成本从二次降低到线性。然而，尚不清楚基于RFF的高效PE与基于旋转矩阵的PE（如旋转位置编码（RoPE））相比如何。在本文中，我们基于核方法提出了一个统一框架，用于分析这两类高效PE。利用这个框架，我们开发了一种新的PE方法，称为RoPEPool，能够从时间序列中提取因果关系。通过使用基于RFF的PE和基于旋转的PE，我们展示了如何通过考虑它们诱导的内容-上下文交互关系来共同研究看似不相关的PE。为了实证验证，我们使用了符号音乐生成任务，即旋律和声编制。我们展示了RoPEPool，结合高度信息的结构先验，优于所有方法。
arXiv:2504.05358v1 宣告类型: cross
摘要：人工智能在法律分析和预测（LegalAI）方面的应用引起了广泛关注，以往的研究主要集中在基于检索的方法和微调大型模型上。然而，这些方法往往需要大量数据集，而且未能充分利用现代大型语言模型（LLMs）的能力。在本文中，受到真实法庭辩论阶段的启发，我们提出了一种基于辩论反馈架构的新颖法律判决预测模型，该模型整合了LLM多代理辩论和可靠性评估模型。与传统方法不同，我们的模型通过最大限度地减少对大规模历史数据集的需求，实现了显著的效率提升，从而提供了一种轻量级但稳健的解决方案。比较实验表明，该模型在多个通用和专门领域的法律模型中表现出色，提供了一种动态推理过程，并为未来LegalAI研究指明了有希望的方向。
arXiv:2504.05357v1 交叉类型: 跨学科
摘要: 马车票假说（LTH）提出，存在一个稀疏子网络（又称作胜利票），在从头开始训练时，它可以像其过参数化对应网络一样进行泛化。寻找胜利票的常见方法是通过迭代剪枝（IP）保留原始的强泛化性，并通过将剪枝得到的稀疏掩码应用于未训练网络，转移对其学习泛化有用的有用信息。然而，现有的IP方法仍然难以将它们的观察结果泛化到非随机初始化和小型架构或数据集，或者通过将掩码应用于已训练权重而不是初始化权重来绕过这些挑战。在本文中，我们证明参数符号配置在向任何随机初始化的网络传递有用的泛化信息方面起着关键作用。通过线性模式连通性分析，我们观察到，通过现有ID策略训练的稀疏网络可以保留其吸引子盆地，只要其参数符号和归一化层参数得以保留。为了更接近找到胜利票，我们通过阻止从使用我们方法训练的稀疏网络到其具有初始化归一化层参数的对应网络之间线性路径上的高错误屏障，减轻对归一化层参数的依赖。有趣的是，无论架构和数据集如何，我们观察到，任何随机初始化的网络都可以通过继承其稀疏性和参数符号信息，优化为具有从我们方法训练的稀疏网络到低错误屏障的线性路径，有可能实现与原始网络相当的性能。代码可在https://github.com/JungHunOh/AWS\_ICLR2025.git获取。
arXiv:2504.05356v1 交叉公告类型：
摘要：准确的轨迹预测是自动驾驶系统安全运行的基石，理解周围代理的动态行为至关重要。基于Transformer的架构在捕捉复杂的时空依赖关系方面展示出了显著的潜力。然而，它们对归一化层的依赖可能导致计算负担增加和训练不稳定性。在本工作中，我们提出了一种两管齐下的方法来解决这些挑战。首先，我们将DynamicTanh（DyT），这是促进Transformer的最新方法，整合到主干中，取代传统的层归一化。这一修改简化了网络架构并提高了推理的稳定性。我们是首个将DyT部署到轨迹预测任务中的工作。其次，我们采用了快照ensemble策略进一步提升轨迹预测性能。通过使用循环学习率调度，多个模型快照在单次训练运行中被捕捉。这些快照在推理时通过简单的平均聚合，使模型能够从中受益于多样假设，而不会增加显著的额外计算成本。在Argoverse数据集上的大量实验表明，我们综合方法显著提高了预测精度、推理速度和在多种驾驶场景中的鲁棒性。本项工作强调了归一化方法以外的Transformer设计，辅以轻量级ensemble技术，在提升自动驾驶车辆轨迹预测中的潜力。
arXiv:2504.05352v1 量化类型: 交叉
摘要: 将大型语言模型（LLMs）量化到1位精度显著降低了计算成本，但现有的量化技术在使用低于4位权重和激活精度（W4A4）时会遭受明显的性能下降。在本文中，我们提出了一种后训练量化框架，配置为W(1+1)A(1*4)，其中权重被量化为1位，附加1位用于细粒度分组，激活则通过增加4倍的通道数来量化为1位。对于权重量化，我们提出利用Hessian感知的细粒度分组以及基于EM的量化方案。对于激活量化，我们将INT4量化激活等效地分解为4 * INT1格式，并同时基于量化误差平滑缩放因子，从而进一步减少激活的量化误差。我们的方法在多个任务上超越了W2A4的最新LLM量化基线，将现有LLM量化方法的边界推向完全二值化模型。