arXiv:2504.21099v1 宣传类型：交叉
摘要：基础模型通过在大规模数据集上进行预训练，提供了稳健且多功能的架构，从而彻底改变了人工智能。然而，将这些大规模模型适应到特定的下游任务需要微调，这在计算资源上可能是极其昂贵的。参数高效微调（PEFT）方法通过选择性地更新一小部分参数来应对这一挑战。与此同时，联邦学习（FL）能够在不共享原始数据的情况下跨分布式客户端协作训练模型，使其成为隐私敏感应用的理想选择。本文综述了PEFT技术在联邦学习环境中的整合。我们系统地将现有方法分类为三类：增益PEFT（引入新的可训练参数），选择性PEFT（仅微调现有参数的子集），和重构PEFT（通过转换模型架构实现高效更新）。对于每一类，我们分析了这些方法如何解决联邦设置中的独特挑战，包括数据异构性、通信效率、计算约束以及隐私问题。我们根据应用领域进一步组织文献，涵盖了自然语言处理和计算机视觉任务。最后，我们讨论了有 promise 的研究方向，包括基础模型的扩展、联邦PEFT方法的理论分析以及资源受限环境中的可持续方法。
arXiv:2504.21074v1 交叉类型公告
摘要：大规模语言模型（LLMs）已被证明是应对流程挖掘任务的有效工具。现有研究报道了它们在支持各种数据驱动的流程分析方面的能力，甚至在一定程度上表明，它们能够推理流程是如何运作的。这种推理能力暗示，LLMs 有潜力应对需要理解活动及其关系意义的语义感知流程挖掘任务。这类任务的示例包括过程发现，在这种任务中，活动的意义可以表明它们之间的依赖性，而在异常检测中，这种意义可以用于识别异常的流程行为。在本文中，我们系统地探讨了LLMs在这些任务上的能力。与之前的研究主要评估LLMs的默认状态不同，我们通过上下文学习和监督微调来探索其实用性。具体来说，我们定义了五个需要语义理解的流程挖掘任务，并提供了广泛基准数据集进行评估。我们的实验表明，在既未进行微调也几乎没有上下文示例的情况下，LLMs在应对具有挑战性的流程挖掘任务时表现不佳，但在广泛流程类型和行业的这些任务中进行微调后，却能够实现良好的性能。
arXiv:2504.21072v1 威胁类型：跨领域
摘要：大规模文本到图像扩散模型的扩展引发了对其可能生成不良或有害内容的担忧，范围从虚构的公众人物形象到具有性暗示的图像。为了减轻这些风险，先前的工作设计了机器忘记技术，试图通过微调来消除不需要的概念。然而，在本文中，我们提出了一个新的威胁模型——有毒抹除（ToxE），并展示了最近的忘记算法，包括那些专门设计用于鲁棒性的算法，可以通过针对性的后门攻击被绕过。通过在触发器和不需要的内容之间建立联系，威胁得以实现，在此之后的消除尝试未能抹除这一联系，使对手能够生成有害内容。我们通过两种已建立的后门攻击实例化了ToxE：一种针对文本编码器，另一种操纵交叉注意层。此外，我们引入了基于评分的深度干预攻击（DISA），这是一种新颖的、更具深度的后门攻击，使用评分优化目标对整个U-Net进行优化，从而提高攻击在不同抹除方法中的持久性。我们对我们的威胁模型评估了五种最近的概念抹除方法。在消除名人身份时，我们的深度攻击在最高82%的尝试中得以绕过抹除，平均而言，在所有抹除方法中为57%。在消除隐含内容时，ToxE攻击可以展示出高达9倍更多的暴露身体部位，而DISA的平均增幅为2.9倍。这些结果突显了当前忘记策略中一个关键的安全缺陷。
arXiv:2504.21066v1 宣布类型: cross
摘要: 在边缘设备上训练和部署深度伪造检测模型具有保持数据隐私和保密性的优势，因为数据在其来源附近进行处理。然而，这种方法受到了边缘设备可用的有限计算和内存资源的限制。为了解决这一挑战，我们探索了压缩技术来减少计算需求和推断时间，并结合了迁移学习方法以减少训练开销。使用 Synthbuster、RAISE 和 ForenSynths 数据集，我们评估了剪枝、知识蒸馏 (KD)、量化、微调和基于适配器的技术的有效性。我们的实验结果表明，即使在压缩率高达 90%的情况下，压缩和迁移学习也能有效实现，只要训练和验证数据来自同一深度伪造模型，性能水平保持不变。然而，当测试数据集由未出现在训练集中的深度伪造模型生成时，会出现领域泛化问题。
arXiv:2504.21065v1 宣告类型: cross
摘要：分子优化旨在改善结合亲和力或其他分子性质，在药物发现中是一项关键任务，通常依赖于制药化学家的专业知识。近年来，基于深度学习的3D生成模型在提高分子优化效率方面展现了前景。然而，这些模型在领先优化阶段往往难以充分考虑与蛋白质目标的结合亲和力。在此，我们提出了一种3D口袋意识和亲和力导向的扩散模型——Diffleop，以优化具有增强结合亲和力的分子。该模型明确融入了蛋白质-配体结合亲和力的知识，以指导具有高亲和力的分子生成的去噪采样。综合评估表明，Diffleop在多个指标上优于基线模型，尤其是在结合亲和力方面表现尤为突出。
arXiv:2504.21064v1 Announce Type: cross
摘要：数据驱动的抑郁症诊断方法已成为神经医学领域的研究重点，推动这一发展的原因是相关数据集的发展。近年来，基于图形神经网络（GNN）的模型由于能够从空间和时间两个角度捕捉脑通道的功能连接性而得到了广泛应用。然而，它们的有效性受到缺乏稳健的时间生物标志物的阻碍。本文通过利用离散傅里叶变换（DFT）引入了一种新颖且有效的抑郁症诊断生物标志物，并基于时间图形卷积网络（TGCN）提出了定制的图形网络架构。我们的模型在包括1,086名受试者的数据集上进行训练，该数据集是抑郁症诊断领域之前数据集规模的10倍以上。此外，为了满足医学要求，我们进行了倾向得分匹配（PSM），创建了一个精炼的子集，称为PSM数据集。实验结果表明，结合我们新设计的生物标志物增强了脑通道中时间特征的表示，导致在实际数据集和PSM数据集中的F1分数均有所提高。这一进展有可能为开发更有效的抑郁症诊断工具做出贡献。此外，我们使用SHapley Additive exPlaination（SHAP）来验证我们模型的可解释性，确保其在医疗环境中的实际应用可行性。
arXiv:2504.21063v1 宣布类型: cross
摘要: 联邦域泛化(FedDG)旨在从异质数据的分散客户端中学习一个可泛化到全局的模型，同时保持隐私。最近的研究通过学习单一全局提示来引入提示学习，将提示学习应用于FedDG中的视觉语言模型(VLMs)，以适应FedDG。然而，这种单一提示适应所有学习范式通常导致个性化样本上的性能下降。尽管专家混合(MoE)为专业化提供了前景，但现有的基于MoE的方法深受细粒度图像级专家分配和基于参数路由器的高昂通信成本的影响。为了应对这些局限性，我们提出TRIP，一种基于Token级提示混合的参数自由路由框架，将多个提示视为不同的专家。与现有的图像级路由设计不同，TRIP将图像内的不同Token分配给特定的专家。为了确保通信效率，TRIP引入了一种基于Token聚类和最优运输的参数自由路由机制。然后，通过按每个分配给专家的Token数量加权聚合专家来生成实例特定的提示。此外，TRIP开发了一种无偏的学习策略，利用了VLM的零样本泛化能力。在四个基准测试中的广泛实验表明，TRIP实现了最优泛化结果，并且每轮通信仅为1K参数。我们的代码可在https://github.com/GongShuai8210/TRIP获取。
arXiv:2504.21055v1 交叉类型公告
摘要：由于基于深度学习的语义编码器和解码器具有黑盒特性，因此找到一种有效的语义通信性能分析方法是一个具有挑战性的问题。本文我们提出了一个Alpha-Beta-Gamma (ABG) 公式来模型端到端测量与信噪比（SNR）之间的关系，该公式可以应用于图像重建任务以及推理任务。具体而言，对于图像重建任务，所提出的 ABG 公式能够很好地适应诸如 SCUNet 和 Vision Transformer 等常用的深度学习网络，这些网络在语义编码时使用多尺度结构相似性指数量度（MS-SSIM）。此外，我们发现 MS-SSIM 的上限取决于语义编码器的量化输出位数，并提出了一种封闭形式的表达式来拟合 MS-SSIM 和量化输出位数之间的关系。据我们所知，这是首次提出的端到端性能指标与语义通信中的 SNR 之间的理论表达。基于所提出的 ABG 公式，我们研究了随机衰落信道中语义通信的自适应功率控制方案，这可以有效保证语义通信的服务质量（QoS），然后设计了最优功率分配方案以最大化语义通信系统的能量效率。此外，利用二分法算法，我们开发了最大化 OFDMA 下行链路中多用户最小 QoS 的功率分配方案。广泛的仿真实验验证了所提出的 ABG 公式和功率分配方案的有效性和优越性。
arXiv:2504.21054v1 宣告类型: 交叉
摘要：后门攻击对深度神经网络构成了重大威胁，因为后门模型会在特定触发下将受污染样本错误分类到目标类别中，同时在干净样本上保持正常性能。在这其中，多目标后门攻击可以同时针对多个类别。然而，现有的多目标后门攻击大多遵循肮脏标签范式，其中受污染样本被错误标记，并且大多数需要非常高的受污染率。这使得它们在人工检查时容易被发现。相比之下，未标记的后门攻击更为隐蔽，因为它们避免修改受污染样本的标签。然而，它们通常难以实现稳定的和令人满意的攻击性能，并且往往难以有效扩展到多目标攻击。为了解决这一问题，我们提出了基于特征的全目标未标记后门攻击（FFCBA），它由两种范式组成：特征跨越后门攻击（FSBA）和特征迁移后门攻击（FMBA）。FSBA 利用类别条件自编码器生成噪声触发器，使扰动的类内样本与原始类别的特征对齐，确保触发器的有效性、类内一致性、跨类特异性和自然特征相关性。虽然 FSBA 支持快速和高效的攻击，但其跨模型攻击能力相对较弱。FMBA 使用两阶段类别条件自编码器训练过程，交替使用跨类别样本和类内样本。这使 FMBA 能够生成具有强大目标类特征的触发器，使其在跨模型攻击中极为有效。我们在多个数据集和模型上进行了实验，结果显示 FFBCA 实现了出色的攻击性能，并且在最先进的后门防御措施下保持了良好的稳健性。
arXiv:2504.21053v1 安全对齐类型: 交叉
摘要：在大型语言模型（LLMs）中实现安全性对齐是通过调整个性激活机制来抑制有害内容来实现的。在本文中，我们提出了一种新颖的方法，通过识别和修改负责安全性约束的神经元来诱导不对齐。我们的方法包括三个关键步骤：神经元激活分析，其中我们检查有害和无害提示的激活模式，以检测对于区分有害和无害输入至关重要的神经元；基于相似性的神经元识别，其系统地定位负责安全对齐的神经元；以及神经元重学习以移除非安全性约束，其中我们对这些选定的神经元进行调优以恢复模型生成之前被限制的响应的能力。实验结果证明，我们的方法可以通过最小的调优有效地移除安全性约束，突显了当前对齐技术中的关键漏洞。我们的发现强调了在LLMs上对抗调优攻击的 robust 防御的必要性。