arXiv:2502.10490v1 交叉类型: cross
摘要: 随着人工智能在我们生活中越来越普遍，人们享受着它带来的便利，同时也面临着隐藏的威胁，如数据投毒和对抗攻击。这些威胁会对人工智能的应用造成灾难性的影响，尤其是在自动驾驶和医疗等领域，这些应用的效果往往是立竿见影的。在这类威胁中，后门攻击由于其隐藏性和简单的部署方式给人们留下了深刻的印象，使其成为不可忽视的威胁。然而，在部署后门模型的过程中，后门攻击往往存在一些原因，使其在实际应用中不尽如人意，例如晃动和亮度变化。基于此，我们提出了一种高度鲁棒的后门攻击——位移后门攻击(DBA)。实验结果表明，DBA攻击可以抵抗模拟现实世界差异的数据增强，例如旋转和裁剪。
arXiv:2502.10489v1 宣告类型: cross
摘要：时间感知的数据估值能够增强训练效率和模型稳健性，因为它可以及早检测有害样本并防止因无效计算浪费数月时间。然而，现有方法依赖于模型重训练或收敛假设，或者无法捕捉长期训练动态。
我们提出了LiveVal，一种高效的时间感知数据估值方法，具有三个关键设计：
1) 无缝集成到SGD训练中，以高效监控数据贡献；
2) 基于参考的估值并进行标准化，以建立可靠的基准；
3) 适应性参考点选择，以实现实时更新并优化内存使用。
我们为LiveVal的稳定性提供了理论保证，并证明其估值是受限且与优化进程方向一致的。广泛实验表明，LiveVal可以在不同模态和模型规模下提供高效的数据估值，与传统方法相比实现180倍的速度提升，同时保持稳健的检测性能。
arXiv:2502.10487v1 安全评估类型：跨域
摘要：评估大型语言模型（LLMs）对对抗攻击的鲁棒性对于安全部署至关重要，但当前的红队方法往往非常昂贵。我们比较了快速代理指标预测LLM在模拟攻击者群体中的现实世界鲁棒性的能力。这使我们能够在不需要实际运行攻击的情况下估算模型对昂贵计算攻击的鲁棒性。具体而言，我们考虑了基于梯度下降的嵌入空间攻击、预填充攻击和直接提示。尽管直接提示在准确性方面尤其不高，但我们发现它和嵌入空间攻击能够很好地预测攻击成功率，与完整攻击群体的相关系数分别为线性相关系数 \(r_p=0.87\) 和斯皮尔曼等级相关系数 \(r_s=0.94\)，同时将计算成本降低了三个数量级。
arXiv:2502.10486v1 安全类型: 交叉
摘要：视觉语言模型（VLMs）的出现带来了安全方面的新担忧，因为多种模态的结合增加了对攻击的脆弱性。尽管VLMs可以在具有文本安全对齐的LLMs的基础上构建，但当视觉模态被整合时，这种安全对齐容易被削弱。我们将这一安全挑战归因于模态差距，也就是图像和文本之间的共享表示空间的分离，这使得VLM中危险和无害查询之间的区别变得模糊，而这种区别在LLMs中是明显的，但在VLMs中被削弱。为了防止安全衰减并弥补安全对齐差距，我们提出了VLM-Guard，这是一种在推断时的应用策略，它利用VLM中的LLM组件作为监督，以实现VLM的安全对齐。VLM-Guard将VLM的表示映射到一个子空间，该子空间与从安全对齐的LLM中提取的安全控制方向正交。在三个恶意指令设置上的实验结果表明，VLM-Guard在保护VLM以及在VLM和其LLM组件之间实现安全对齐差距方面是有效的。
arXiv:2502.10485v1 宣布类型: cross
摘要：时间序列预测面临着独特的挑战，这限制了传统机器学习算法的有效性。为了应对这些限制，各种方法都结合了线性约束到学习算法中，例如广义加法模型和层次预测。在本文中，我们提出了一个统一的框架来整合和组合时间序列预测中的线性约束。在该框架内，我们展示了可以通过仅使用线性代数高效地计算带约束的样本经验风险的精确最小值。这种方法允许为GPU优化的可扩展实现。我们通过在实际任务中的全面基准测试验证了所提出的方法，包括电能需求预测和旅游业预测，取得了最先进的性能。
arXiv:2502.10475v1 宣告类型: cross
摘要：3D 高斯点绘制（3DGS）在3D重建和3D生成中被广泛使用。训练获取3DGS场景通常需要大量时间和资源，甚至有价值的启发。不断增加的3DGS数字资产给版权保护带来了巨大挑战。然而，针对3DGS的深度探索仍然不足。本文提出了一种新的框架 X-SG$^2$S，可以在几乎不改变原始3DGS场景的情况下同时水印1到3D消息。总体上，我们有一个X-SG$^2$S注入器用于同时添加多模态消息，以及一个提取器用于提取它们。具体来说，我们首先以固定方式将水印分割为消息块，并对3DGS点进行排序。自适应门用于选择合适的水印位置。然后使用XD（多维）注入头将多模态消息添加到排序后的3DGS点中。可学习门可以识别带有额外消息的位置，而XD提取头可以从可学习门推荐的位置恢复隐藏的消息。广泛的实验表明，提出的X-SG$^2$S可以在不改变预训练3DGS管道或原始3DGS参数形式的情况下有效隐藏多模态消息。同时，由于其简单有效的模型结构和高实用性，X-SG$^2$S在隐藏和提取多模态结构化或非结构化消息方面仍表现出良好的性能。X-SG$^2$S是第一个统一1到3D水印模型的3DGS，并且是第一个可以在一个3DGS中同时添加多模态水印的框架，为后续研究开辟了道路。
arXiv:2502.10470v1 公告类型: cross
摘要：作为进化计算（EC）领域的基石，差分进化（DE）以其简洁性和在处理挑战性的黑盒优化问题方面的有效性而闻名。尽管DE的优点已得到广泛认可，但要实现最佳性能，很大程度上依赖于其超参数，如变异因子、交叉概率和DE策略的选择。传统上解决这一超参数困境的方法主要依赖于参数调整或自适应机制。然而，为特定问题确定最佳设置仍是一个持久的挑战。为应对这一挑战，我们提出了MetaDE，一种使用DE本身在元层次上进化DE的内在超参数和策略的方法。MetaDE的关键方面是一种专门的参数化技术，赋予了它在进化过程中动态修改DE参数和策略的能力。为了提高计算效率，MetaDE通过使用GPU加速计算框架融入了一种设计。在这种框架中，DE不仅是一个求解器，也是一个对其自身配置进行优化的优化器，从而将超参数优化和问题解决流程整合为一个连贯的自动化工作流。在CEC2022基准套件上的广泛评估表明，MetaDE表现出色。此外，在通过进化强化学习进行的机器人控制中，MetaDE也表现出色。MetaDE的源代码已在公共平台上可用：https://github.com/EMI-Group/metade。
arXiv:2502.10467v1 宣告类型: cross
摘要: 使用大规模语言模型（LLMs）生成音乐的领域正在迅速发展，但现有的音乐表示系统，如MIDI、ABC 符号和MusicXML，仍然过于复杂，难以有效地微调LLMs。这些格式由于其多样性和复杂的结构，对于机器和人类来说都难以解读。为了解决这些挑战，我们引入了YNote，这是一个简化后的音乐表示系统，仅使用四个字符来表示音符及其音高。YNote的固定格式确保了一致性，使其易于阅读，并更适合于微调LLMs。在我们的实验中，我们对一个经YNote编码的数据集微调了GPT-2（124M），分别得到了BLEU和ROUGE得分0.883和0.766。仅仅使用两个音符作为提示，该模型就能够生成连贯且具有风格相关性的音乐。我们认为YNote为机器学习应用提供了一种实用的替代现有的音乐表示方式，并且有可能显著提高使用LLMs生成音乐的质量。
arXiv:2502.10463v1 类型: cross
摘要：神经网络的深度是其能力的关键因素，更深的模型通常表现出更好的性能。受此启发，已经做出了大量努力来增强层聚合——利用上一层的信息以更好地提取当前层的特征，从而提高深层神经网络的表现能力。然而，之前的工作主要从离散状态的角度来解决这个问题，当网络层数增加时，这种方法不再适用。本文新颖地将层的输出视为连续过程中的一种状态，并考虑利用状态空间模型（SSM）来设计非常深的神经网络中的层聚合。此外，受到其在建模长序列方面进步的启发，Selective State Space Models（S6）被用来设计一个新的模块，称为Selective State Space Model Layer Aggregation（S6LA）。该模块旨在在序列框架内组合传统的CNN或transformer架构，增强当前最先进的视觉网络的表现能力。广泛实验表明，S6LA在图像分类和检测任务中都取得了显著改进，突显了将SSMs与现代深度学习技术相结合的潜力。
arXiv:2502.10459v1 交叉公告类型：cross
摘要：图神经网络架构搜索（GNAS）使人们能够自动设计针对特定下游图学习任务的图神经网络（GNNs）。然而，现有的GNAS方法通常需要手动适应新的图搜索空间，这需要大量的代码优化和领域特定知识。为了解决这一挑战，我们提出了一种名为LLM4GNAS的工具包，该工具包利用了大语言模型（LLMs）的生成能力。LLM4GNAS包括基于LLMs的图神经网络架构搜索算法的算法库，通过修改LLMs提示来适应新的搜索空间，从而减少了手动干预算法适应和代码修改的需要。LLM4GNAS工具包是可扩展和稳健的，它集成了增强的图特征工程、增强的图神经网络架构搜索和增强的超参数优化。实验结果表明，LLM4GNAS在涉及同质图和异质图的任务中均优于现有GNAS方法。