arXiv:2504.18594v1 宣布类型: cross
摘要: 我们研究了一种基于转移的黑盒攻击问题，其中生成的对抗样本使用单一的代理模型生成后可以直接应用于目标模型。与无目标攻击相比，在目标设置下，即获得的对抗样本往往适合代理模型但未能误导其他模型，现有的方法在攻击成功率(ASR)方面仍然较低。在本文中，我们假设这些对抗样本中的像素或特征在很大程度上相互依赖，以最大化对代理模型的对抗攻击成功率，我们将这种现象称为扰动共适应。然后，我们提出了一种通过在每次优化迭代中创建代理模型的多种变体来减轻扰动共适应的方法，以增强转移性，我们称之为DropConnect（MCD）。我们在各类基于CNN和Transformer的模型上进行了广泛的实验，以证明MCD的有效性。在从基于CNN的模型转移到基于Transformer的模型这一具有挑战性的场景中，MCD的平均攻击成功率比最先进的基线方法高出13%。MCD通过引入更多变体间的多样性来提升自我集成方法的性能，同时为每个变体保留足够的语义信息。此外，当扩大生成对抗样本的计算规模时，MCD获得最高的性能提升。
arXiv:2504.18593v1 类型: cross
摘要：慢性阻塞性肺病（COPD）代表了全球重要的健康负担，其中精确的严重程度评估在重症监护病房（ICU）的有效临床管理中尤其关键。本研究介绍了一种创新的机器学习框架，用于利用MIMIC-III重症监护数据库进行COPD严重程度分类，从而扩展了人工智能在重症监护医学中的应用。我们的研究开发了一种稳健的分类模型，结合了关键的ICU参数，如血液气体测量和生命体征，同时采用了半监督学习技术，有效地利用未标记的数据并提高模型性能。随机森林分类器被证明特别有效，其区分轻度至中度与重度COPD病例的能力达到了92.51%的准确率和0.98的ROC AUC。该机器学习方法为临床医生提供了一种实用、准确且高效的工具，用于ICU环境中快速评估COPD严重程度，具有显著的潜力以改善临床决策过程和患者结果。未来的研究方向应优先进行跨患者人群的外部验证，并与临床决策支持系统集成，以优化重症监护环境中COPD的管理。
arXiv:2504.18591v1 Announce Type: cross
摘要：近期在神经场方面的进展使得可以使用离散化不变的方法学习神经算子来逼近一般几何形状上偏微分方程(PDEs)的解。在此基础上，我们提出了enf2enf，这是一种基于最近提出的等变神经场架构的编码-解码方法，用于预测具有非参数化几何可变性的稳态偏微分方程。在enf2enf中，输入几何形状通过潜在点云嵌入进行编码，这些嵌入能够保持几何本质并捕捉局部现象。如此产生的表示然后与全局参数结合，并直接解码成连续输出场，从而有效地模型化几何与物理之间的耦合关系。通过利用局部性和平移不变性的归纳偏置，我们的方法能够捕捉到细分辨率的物理特征以及复杂的形态变化，从而增强泛化能力和物理一致性。在高保真度的气动学数据集、超弹性材料基准以及多翼型空气动力几何形状上的广泛实验表明，所提出模型在与最新的基于图、算子学习和神经场方法相比时表现更优或具有竞争力。值得注意的是，我们的方法支持实时推理和零样本超分辨率，可以在低分辨率网格上进行高效的训练，同时在全规模离散化上保持高精度。
arXiv:2504.18590v1 交叉类型：跨领域
摘要：在这篇文章中，我们探讨了多级方法在加速变压器架构训练方面的潜力。通过这些架构的常微分方程（ODE）解释，我们提出了一种适当的方法，以改变这些ODE变压器的 discretization 来加速训练。我们通过与标准训练过程的比较进行实验验证。
arXiv:2504.18588v1 宣告类型: cross
摘要: 动态服务质量(QoS)数据在用户服务交互中显示出丰富的时间模式，这对于全面理解用户行为和服务条件在Web服务中的表现至关重要。随着用户和服务数量的增加，有大量的未观测到的QoS数据，这显著影响了用户对服务的选择。为了预测未观测到的QoS数据，我们提出了一种张量的非负雪花因式分解模型。该方法设计了一个雪花核心张量以增强模型的学习能力。此外，它采用基于单个潜在因子的非负乘法更新张量(SLF-NMUT)来进行参数学习。实证结果表明，所提出的模型更准确地学习了动态用户服务交互模式，从而提高了对缺失QoS数据的预测准确性。
arXiv:2504.18587v1 类型: cross
摘要：最近，如 OpenAI 的 O1 和 O3 以及 DeepSeek 的 R1 等基础模型通过大规模强化学习（RL）展示了强大的推理能力和解决问题的能力，并在数学、编程、科学、智能代理和虚拟助手等领域有着广泛的应用。在此项工作中，我们介绍了一种离策增强学习算法——EM 策略梯度，旨在通过优化推理轨迹的期望回报来增强大规模语言模型（LLM）的推理能力。我们将推理任务构架为一个期望最大化（EM）优化问题，交替地进行多样化推理轨迹的采样和基于奖励的微调。不同于 PPO 和 GRPO，它们依赖于复杂的重要性权重和启发式剪裁，我们的方法提供了一种更简单、更具原则性的离策策略梯度方法，消除了这些复杂性同时保持了强大的性能。我们在 GSM8K 和 MATH（HARD）数据集上评估了 EM 策略梯度的有效性，它在性能上达到了或略优于当前最先进的 GRPO，同时还提供了可扩展性、简洁性和推理简洁性的额外优势。此外，采用我们方法微调的模型表现出认知行为，如子问题分解、自我验证和回溯，这突显了其增强 LLM 推理的可解释性和鲁棒性的潜力。
arXiv:2504.18575v1 攻击类型：跨站
摘要：网络导航AI代理使用语言和视觉基础模型来提高生产力，但这些模型已知容易受到间接提示注入的影响，使其执行与合法用户不同的指令。现有对此威胁的探索通常针对单一孤立的对抗性目标，测试的注入指令要么过于简单，要么并不真正恶意，并且往往给予对手不合理的访问权限。为了更好地集中对抗性研究，我们构建了一个新的基准叫做WASP（Web Agent Security against Prompt injection attacks），引入了现实的网络代理劫持目标，并提供了一个不会影响真实用户或现场网络的隔离测试环境。作为WASP的一部分，我们还针对三种流行的网络代理系统（VisualWebArena、Claude Computer Use和Operator）开发了针对各种最先进的模型的基本攻击。我们的评估表明，即使是支持具有高级推理能力的模型和指令层次结构缓解措施的AI代理，也容易受到低技术含量的人工编写的提示注入的影响。然而，WASP中的现实目标也使我们能够观察到，代理目前还不具备完成攻击者目标所需的能力。代理在16%到86%的情况下开始执行对抗指令，但在17%的情况下未能实现目标。基于这些发现，我们认为，对抗性研究者应该展示更强大的攻击，这些攻击能够在现实环境中更一致地控制代理。
arXiv:2504.18574v1 类型: cross
摘要: SSMs 提供了处理固定状态大小的长序列的有效方法，但难以应对如检索过去上下文这样的算法任务。在这项工作中，我们探讨了这种上下文内检索在基于Transformer和SSM的语言模型中的运作方式。我们发现，这两种架构都发展出了相同的基本Gather-and-Aggregate (G&A)机制。一个Gather头首先识别并提取上下文中的相关信息，然后由一个Aggregate头将这些信息整合进最终表示。在两种模型类型中，G&A机制集中在少数几个头中，即使是在需要基本检索能力的基准测试中，这些头也成为了关键的瓶颈。例如，禁用精简版Llama-3.1-8B中的单个Gather或Aggregate头会使其在MMLU中正确回答问题的能力大幅下降，准确率从66%降至25%。这一发现表明，上下文内检索可以掩盖某些任务的知识需求限度。尽管在检索功能保持完整的情况下，精简模型在MMLU方面的表现仍然很强，但在其他知识测试中却失败。G&A依赖性同样存在于GSM8K、BBH和对话任务中。鉴于G&A在性能中的重要性，我们展示了SSM中的检索挑战表现在它们实施G&A的方式上，导致注意力模式更加平滑，而不是有效的G&A所依赖的尖锐的标记转换。因此，虽然Transformer和SSM在实施上下文内检索方面存在差距，但这种差距仅限于少数几个头，而不是整模型。这一见解不仅提供了一种统一的解释，即Transformer和SSM之间性能差异的原因，同时也突显了结合两者的优点的方法。例如，在预训练混合同模型中，注意力组件自然承担了Aggregate头的角色。同样，在预训练纯SSM中，用基于注意力的变体替换单个G&A头能显著提高检索能力。
arXiv:2504.18569v1 宣布类型: cross
摘要：医疗数据中私人信息的去标识化是减轻机密性泄露风险的关键过程，尤其是在患者个人信息未被充分移除之前发布医疗记录时。虽然已经提出了基于规则和基于学习的方法，但它们往往在通用性方面存在局限性，并且需要大量的注释数据才能有效运行。近年来，大型语言模型（LLMs）在解决这些问题方面显示出显著的潜力，因为它们具有出色的语言理解能力。然而，LLMs也面临挑战，包括使用商用LLM API 可能带来的潜在隐私风险，以及在本地部署开源LLM时的高计算成本。在这项工作中，我们介绍了LPPA，这是一个使用LLM的隐私保护 PHI 注释框架，针对英语语言。通过使用合成记录对LLM进行本地微调，LPPA 确保了强大的隐私保护和高精度的 PHI 注释。广泛的实验表明，LPPA 在准确去标识化私人信息方面表现出色，提供了增强患者隐私保护的可扩展和高效解决方案。
arXiv:2504.18566v1 Announce Type: 交叉
摘要：分布式拒绝服务（DDoS）攻击是对现代网络系统持续且不断演化的威胁，能够引起大规模的服务中断。此类攻击的复杂性往往隐藏在网络高维和冗余的流量数据中，这要求具有强大且智能的功能选择技术来进行有效的检测。传统的基于滤波器、包装器和嵌入式的方法各自都有其优势，但在复杂攻击环境中却面临可扩展性或适应性的问题。在本研究中，我们通过对这些现有技术进行详细的比较分析，并强调了它们在大规模DDoS检测任务中应用的局限性。在此基础上，我们引入了一种新的基于生成对抗网络（GAN）的功能选择方法（GANFS），利用对抗学习动态来识别最具信息量的特征。通过专门在攻击流量上训练GAN，并在判别器上采用扰动敏感性分析，GANFS能够在无需完全监督的情况下有效排名特征重要性。利用CIC-DDoS2019数据集进行的实验评估表明，GANFS不仅提高了下游分类器的准确性，还通过显著减少特征维度提高了计算效率。这些结果表明，将生成学习模型集成到网络安全管道中，可以构建更适应性强且可扩展的检测系统。