arXiv:2502.06917v1 宣告类型: cross
摘要：联邦学习提供了一种新兴的机器学习方法，能够在不集中的设备之间协作训练模型的同时保护数据隐私。然而，其分布式特性使其容易受到对抗性攻击。将区块链技术与联邦学习结合可以提供增强安全性和完整性的有希望途径。在本文中，我们探讨了区块链在防御联邦学习的对抗性攻击方面的潜力。首先，我们测试了Proof of Federated Learning（联邦学习共识机制的一种），这是一种专门为联邦学习环境设计的共识机制，在至少有一个矿工未受损的情况下，证明其对抗拜占庭攻击和后门攻击的有效性。其次，我们提出了Krum Federated Chain，这是一种结合Krum和Proof of Federated Learning的全新防御策略，即使所有矿工都被损害，也能有效防御任何形式的拜占庭或后门攻击。我们在图像分类数据集上进行的实验验证了我们提出的策略的有效性。
arXiv:2502.06916v1 类别: cross
摘要: 由于全参数更新相关的计算和存储需求，对预训练大型基础模型进行特定任务的微调变得越来越具有挑战性。参数高效微调（PEFT）方法通过使用适配器模块只更新模型的小部分参数来解决这一问题。在这项工作中，我们提出了启发于量子机器学习文献中保持汉明权重的量子电路的“量子启发式适配器”PEFT方法。这些模型可以在一个组合上巨大的空间中操作，同时保留权重参数的正交性，从而既具有表达能力又具有参数效率。我们通过在基准数据集上适应大型语言模型和大型视觉变换器来测试我们提出的手法。我们的方法在GLUE和VTAB等语言理解数据集上的性能达到了现有微调方法（如LoRA）的99.2%，参数压缩比达到了44倍。与现有的正交微调方法（如OFT或BOFT）相比，我们在参数数量减少25倍的情况下实现了98%的相对性能。这表明该方法在确保了较高性能的同时，还显著减少了可训练参数的数量。通过消融研究，我们发现结合不同的汉明权重顺序、正交性和矩阵复合对于高性能微调是必不可少的。我们的研究结果表明，量子启发式适配器为资源受限环境中语言和视觉模型的有效适配提供了有前途的方向。
arXiv:2502.06914v1 Announce Type: cross
摘要：酶催化蛋白质水解对于许多生物功能至关重要。准确预测水解位点可以促进药物开发、酶设计以及对生物机制更深层次的理解。然而，目前大多数现有模型仅限于单一酶，忽略了酶之间共享的知识，无法泛化到新的酶。因此，我们介绍了一种统一的蛋白质水解位点预测器 {\method}，它可以泛化到多种多样的酶。为了增强用于蛋白质水解位点预测的酶编码，{\method} 使用了一种新颖的生化导向模型架构，结合了蛋白水解酶的活性位点知识。广泛的实验表明，{\method} 在多种蛋白水解酶中（包括未见过的酶）准确预测水解位点。代码可在 https://anonymous.4open.science/r/UniZyme-4A67 获取。
arXiv:2502.06913v1 宣称类型：交叉
摘要：今天的蛋白质在数十亿年的自然进化中已经得到了优化，在这个过程中，自然界创造出随机突变并进行选择。发现具有功能潜力的突变面临着进化可及区域有限的挑战，即只有适应度景观上的一个小区域是有益的。在限制蛋白质进化到具有高适应度变体的景观区域方面，已经使用了众多先验知识，其中蛋白质复合物在突变时结合自由能的变化（DDG）是最常用的先验之一。然而，巨大的突变空间带来了两个挑战：（1）如何提高DDG预测的效率，以便快速筛选突变；（2）如何解释突变偏好并有效地探索可访问的进化区域。为了解决这些挑战，我们提出了一种轻量级的DDG预测器（Light-DDG），它采用结构感知的Transformer作为骨干，并通过从现有的强大但计算成本高昂的DDG预测器中提炼的知识对其进行增强。此外，我们还扩大、标注并发布了包含数百万突变数据的大规模数据集，用于预训练Light-DDG。我们发现，这种简单而有效的Light-DDG可以作为良好的无监督抗体优化器和解释器。对于目标抗体，我们提出了一种新的突变解释器来学习突变偏好，这考虑了每个残基中每个突变的边际效益。为进一步探索可访问的进化区域，我们进行了偏好引导的抗体优化，并使用Light-DDG迅速评估抗体候选者，以识别理想的突变。
arXiv:2502.06911v1 异常检测类型：交叉
摘要：随着金融、制造和医疗健康等领域数据的不断增长和复杂性增加，有效的异常检测对于识别可能表明关键问题的不规则模式至关重要。近年来，基础模型（FMs）已成为推进异常检测的强大工具。它们在增强异常识别、生成详细的数据描述以及提供可视化解释方面展现了前所未有的能力。本文综述了基于FMs的异常检测的最新进展，进行了全面回顾。我们提出了一种新的分类法，根据FMs在异常检测任务中的作用将其分为三类，即编码器、检测器或解释器。我们对最先进的方法进行了系统分析，并讨论了利用FMs改进异常检测的关键挑战。我们还概述了这个迅速发展的领域中的未来研究方向。
arXiv:2502.06910v1 类型:交叉
摘要:现实世界中的时间序列通常包含多个相互交织的频率分量，这使得准确的时间序列预测变得具有挑战性。将混合的频率分量分解为多个单一频率分量是一个自然的选择。然而，不同频率下的模式密度各不相同，对于不同频率分量采用统一的建模方法会导致不准确的特征描述。为了解决这一问题，受到最近的柯尔莫戈罗夫-阿诺尔德网络(KAN)的灵活性启发，我们提出了一种基于KAN的频率分解学习架构(TimeKAN)，以解决由多种频率混合引起的复杂预测挑战。具体而言，TimeKAN主要由三个组件组成：级联频率分解(CFD)块、多阶KAN表示学习(M-KAN)块和频率混合块。CFD块采用自下而上的级联方法为每个频率带获取系列表示。得益于KAN的高度灵活性，我们设计了一种新的M-KAN块来学习和表示每个频率带内的特定时间模式。最后，频率混合块用于将频率带重新组合为原始格式。在多个现实世界时间序列数据集上的广泛实验结果表明，TimeKAN作为一种极其轻量级的架构，达到了最先进的性能。代码可在https://github.com/huangst21/TimeKAN获取。
arXiv:2502.06909v1 宣告类型：交叉
摘要：工业元宇宙利用工业互联网（IIoT）整合各种设备的数据，并通过联邦学习和元计算在分布式方式下训练模型，同时确保数据隐私。为实现工业元宇宙的沉浸式体验，需要在模型质量和培训延迟之间维持平衡。由此，联邦学习任务中的主要挑战是通过平衡模型质量和培训延迟来优化整体系统性能。本文设计了一个满意度函数，该函数考虑了数据量、信息时效性（AoI）和培训延迟。此外，将满意度函数融入到服务器和节点的效用函数中，以激励节点参与模型训练。我们将服务器和节点的效用函数建模为两阶段斯塔克尔伯格博弈，并采用深度强化学习方法学习斯塔克尔伯格均衡。这种方法确保了奖励的平衡，并增强了激励方案在工业元宇宙中的适用性。模拟结果表明，在相同的预算约束下，所提出激励方案在不牺牲模型准确性的情况下，相比现有方案提升了至少23.7%的效用。
arXiv:2502.06907v1 Announce Type: cross
摘要: ChatGPT 能诊断阿尔茨海默病（AD）吗？AD 是一种毁灭性的神经退行性疾病，影响大约每 9 名 65 岁及以上老年人中的 1 人，严重影响记忆和认知功能。本文利用包含磁共振成像（MRI）和认知测试数据的 9300 份电子健康记录（EHRs），探讨了一个引人入胜的问题：作为通用任务解决者，ChatGPT 是否能准确地使用 EHRs 检测 AD？我们使用黑盒方法，并采用零样本和多样本方法对 ChatGPT 进行了深入评估。本研究揭示了 ChatGPT 分析 MRI 和认知测试结果的能力，以及它作为 AD 诊断工具的潜力。通过自动化诊断过程中的某些环节，本研究为卫生保健系统提供了一种变革性的方法，特别是对于资源有限的地区，在这些地区 AD 专家稀少的情况下。因此，它为早期检测提供了一个有希望的方法，支持及时的干预措施，这对于提高生活质量（QoL）至关重要。
arXiv:2502.06906v1 类别:交叉
摘要：许多牛农仍然依赖手动方法在固定时段测量牛的活体重增，这耗时、劳动密集且对动物和管理员都带来压力。使用机器学习（ML）或深度学习（DL）的远程和自主监测系统可以提供更高效且侵入性更小的方法，同时还可以预测未来的牛体重增长（CWG）能力。该系统允许持续监测和估计个体牛的活体重增长、生长速率和体重波动，考虑了环境条件、遗传倾向、饲料供应、运动模式和行为等各种因素。已有研究探讨了使用ML和DL算法估计CWG的效率。然而，估计CWG在应用方面缺乏一致性。此外，ML或DL可以根据现有研究中多种变化的特征提供体重增长估计。另外，当估计CWG时，先前的研究遇到了各种与数据相关的问题。本文基于2004年至2024年的研究文章，进行了全面的研究，旨在使用先进ML技术估计CWG。本研究调查了目前用于CWG估计的工具、方法和特征，以及它们的优点和缺点。研究结果突出了使用先进ML方法在CWG估计中的重要性及其对关键因素的影响。此外，本研究识别了CWG预测的研究空白，并提供了未来研究的方向，为该领域的后续研究提供了参考。
arXiv:2502.06905v1 类型: cross
摘要: 近期深度学习的发展严重依赖于大规模数据集，导致了大量的存储和训练成本。数据集剪枝旨在通过丢弃冗余样本来缓解这一需求。然而，许多现有方法需要在大量批次中训练一个使用完整数据集的模型，然后才能对数据集进行剪枝，这反而使得剪枝过程的成本超过了直接使用整个数据集训练模型的成本。为了解决这一限制，我们引入了一种考虑实例难度和预测不确定性的轻量级难易度和不确定性感知（DUAL）分数，旨在通过结合样本难度和预测不确定性，在早期训练阶段识别出重要的样本。为了应对极端剪枝情况下灾难性的准确率下降，我们进一步提出了一种基于Beta分布的比率自适应采样方法。在各种数据集和学习场景（如带有标签噪声和图像污染的图像分类，以及模型架构泛化）中进行的实验表明，我们的方法优于之前的最先进的（SOTA）方法。具体而言，在ImageNet-1k数据集上，与之前的方法相比，我们的方法将剪枝所需的时间成本降低了66%，同时达到了SOTA的准确率，具体而言，在90%的剪枝比例下，测试准确率达到60%。在CIFAR数据集上，时间成本降低了95%（仅剩余15%），同时保持了SOTA的性能。