arXiv:2502.06438v1 Announce Type: cross
摘要：准确高效的脑电图（EEG）分析对于在长时间监测中检测癫痫和伪影至关重要，应用场景从医院诊断到可穿戴健康设备。稳健的EEG分析有可能大大改善患者护理。然而，传统的深度学习模型，尤其是基于Transformer的架构，受到其二次时间复杂度和内存复杂度的限制，使得它们在资源受限的环境中不太适用。为了解决这些挑战，我们提出了FEMBA（Foundational EEG Mamba + 单向架构），这是一种新型的自监督框架，通过双向状态空间建模为EEG分析建立了新的高效基准。与基于Transformer的模型不同，后者会引入二次时间复杂度和内存复杂度，FEMBA随着序列长度的增加呈线性扩展，使得处理延伸的EEG记录更加可扩展和高效。FEMBA在超过21,000小时的未标记EEG数据上进行了训练，并在三个下游任务上进行了微调，其性能与Transformer模型相当，但具有显著更低的计算成本。具体来说，它在TUAB上达到了81.82%的平衡准确率（0.8921 AUROC），在TUAR上达到了0.949 AUROC，而一个只有7.8M参数的变体也显示了在资源受限设备上的可行性。这些结果为临床和可穿戴应用中的可扩展、通用EEG分析铺平了道路，并突显了FEMBA在穿戴式应用中的潜力。
arXiv:2502.06432v1 类型: cross
摘要：许多研究集中在利用配对数据集构建监督模型进行图像去噪，这对成本和时间提出了高昂的代价。现有的一些自监督和无监督方法通常依赖于盲区网络或子图像配对采样，导致像素信息丢失和详细结构信息破坏，从而极大地限制了这些方法的有效性。在本文中，我们提出了Prompt-SID，这是一种基于提示学习的单图像去噪框架，强调保留结构细节。该方法通过下采样图像配对以自监督方式训练。通过结构编码捕获原始尺度的图像信息，并将此提示整合到去噪器中。为了实现这一点，我们提出了一种基于潜在扩散过程的结构表示生成模型，并在基于变换器的去噪器架构中设计了结构注意力模块，以便解码提示。此外，我们引入了一种尺度重放训练机制，有效地缓解了不同分辨率图像之间的尺度差距。我们在合成数据集、真实世界数据集和荧光成像数据集上进行了全面的实验，展示了Prompt-SID的显著效果。
arXiv:2502.06425v1类型：交叉学科
摘要：大规模语言模型（LLMs）在金融、医疗保健和个人关系等领域被越来越多地用于提供针对用户特征和上下文的个性化建议。然而，这种个性化常常依赖于敏感数据，从而引发了重要的隐私问题，并要求进行数据最小化。为了应对这些挑战，我们提出了一种框架，将零知识证明（ZKP）技术，特别是zkVM，与基于LLM的聊天机器人相结合。这种整合使得在不披露敏感信息的情况下进行隐私保护的数据共享成为可能。我们的研究引入了该方法的体系结构和提示策略。通过实证评估，我们阐明了zkVM和提议的提示策略当前的限制和性能局限性，从而证明了它们在实际场景中的可行性。
arXiv:2502.06424v1 声明类型: cross
摘要：神经网络（NNs）凭借其强大的非线性映射能力和端到端能力，在机械智能故障诊断（IFD）中得到了广泛应用。然而，作为典型的黑盒模型，它们在理解其决策基础和逻辑方面存在挑战，限制了它们在高可靠性场景中的应用。因此，提出了各种方法来增强IFD的可解释性。其中，事后方法可以在不改变模型架构的情况下提供解释，保持其灵活性和可扩展性。然而，现有的事后方法在解释形式上往往存在局限性。它们要么需要预处理，破坏了端到端的性质，要么忽视了故障机制，导致解释效果不佳。为了解决这些问题，我们推导了周期谱（CS）变换，并通过将Shapley加性解释（SHAP）扩展到CS域，提出了CS-SHAP。CS-SHAP能够评估载波和调制频率的贡献，与故障机制更加一致，提供更清晰、更准确的解释。我们使用三个数据集来验证CS-SHAP的优越可解释性，确保其正确性、可重复性和实际性能。凭借开源代码和出色的可解释性，CS-SHAP有可能被广泛采用，并成为IFD以及其他分类任务的后事方法可解释性基准。代码可在 https://github.com/ChenQian0618/CS-SHAP 获取。
arXiv:2502.06415v1 声明类型: cross
摘要：大型语言模型（LLMs）中广泛观察到异常值，这些异常值显著影响模型性能，并对模型压缩提出了挑战。理解和分析这些异常值的功能和形成机制至关重要。然而，现有的研究大多从算法角度出发，减少了异常值的影响，但缺乏对其原因和作用的深入探讨。在本文中，我们对LLMs中异常值的形成过程、潜在原因及其功能进行了详细的分析。我们定义并归类了三种类型的异常值——激活异常值、权重异常值和注意异常值，并在不同维度上分析了它们的分布，揭示了它们出现与其最终对注意机制的影响之间的内在联系。根据这些观察，我们提出了这些异常值的形成和功能机制，并通过理论推导和实验表明，它们是由于自注意力机制中的softmax操作造成的。这些异常值在注意机制中充当隐含的上下文感知缩放因子。由于这些异常值源于系统性影响，我们将它们称为系统性异常值。我们的研究不仅增强了对基于Transformer的LLMs的理解，而且还表明结构上消除异常值可以加速收敛并提高模型压缩的效果。代码可在https://github.com/an-yongqi/systematic-outliers 获取。
arXiv:2502.06379v1 声明类型: cross
摘要：最近的研究方向利用预训练的生成发散模型作为贝叶斯逆问题的先验。我们通过设计一种基于“解耦发散”的顺序蒙特卡罗方法为线性-高斯逆问题做贡献，在这种方法中，生成过程被设计为使得样本的较大更新成为可能。该方法在理论上是精确的，并且我们展示了我们提出的解耦发散顺序蒙特卡罗(DDSMC)算法在合成数据和图像重建任务上的有效性。此外，我们展示了如何将该方法扩展到离散数据。
arXiv:2502.06374v1 类型: cross
摘要: 成员推理攻击（Membership Inference Attacks, MIAs）已成为评估机器学习模型泄露隐私的有效框架。基于评分的MIAs尤其因其能够利用模型为特定输入生成的信任分数而被区分。现有的基于评分的MIAs隐含地假设攻击者可以访问目标模型的超参数，这些超参数可以用于训练攻击的影子模型。在这项工作中，我们展示了在迁移学习场景中，了解目标超参数并不是进行MIAs的前提条件。在此基础上，我们提出了一种新的方法，通过匹配目标模型和影子模型的输出分布来选择训练影子模型的超参数，当攻击者对这些超参数没有先验知识时。我们证明使用新方法可以获得在性能上几乎与使用目标超参数训练影子模型的攻击不可区分的超参数。此外，我们研究了在不同数据差异隐私（Differentially Private, DP）迁移学习中因未考虑使用训练数据进行超参数优化（Hyperparameter Optimization, HPO）而导致的实际隐私风险。我们没有找到统计上显著的证据表明使用训练数据进行HPO会增加MIAs的脆弱性。
arXiv:2502.06348v1 宣告类型: cross
摘要：去中心化金融应用依赖于准确的价格预言机以确保安全交易，但这些预言机极易受到操纵，使攻击者能够利用智能合约漏洞进行不公平的资产估值和财务获利。传统上，检测此类操纵依赖于经验丰富的专家的大量手工努力，这带来了显著的挑战。在本文中，我们提出了一种新颖的基于LLM的框架，通过利用不同LLM模型的互补优势来自动检测价格预言机操纵。我们的方法始于特定领域的知识提取，其中一种LLM模型从顶级学术论文中综合提炼出有关价格预言机漏洞的精确见解，从而消除开发人员或审计员需要深厚专业知识的需求。这些知识构成了第二种LLM模型生成结构化、情境感知的心智链提示的基础，指导第三种LLM模型准确识别智能合约中的操纵模式。我们通过针对2021年至2023年间涉及46个真实世界DeFi攻击或项目的60个已知漏洞的实验验证了该框架的有效性。由AiRacleX选出的最佳LLM组合（Haiku-Haiku-4o-mini）在召回率方面表现优于最先进的工具GPTScan，提高了2.58倍（0.667 vs 0.259），同时保持了相当的精确性。此外，我们的框架展示了用开源替代商业模型的可行性，从而增强开发者的隐私和安全。
arXiv:2502.06341v1 类型: cross
摘要：面部分析技术的伦理、社会和法律问题近年来在广泛讨论中得到了广泛关注。关键批评者指出，这些技术可能会加剧偏见和歧视，特别是针对边缘化群体。我们通过研究面部分析系统在唐氏综合征患者面部上的局限性，为这一研究领域做出了贡献：这一特别脆弱的群体在文献中迄今受到了极少量的关注。这项研究涉及创建了一个特定的面部图像数据集。实验组包括唐氏综合征患者的面部，对照组包括未受该综合征影响的人的面部。研究测试了两个商用工具在该数据集上的表现，涉及三项任务：性别识别、年龄预测和面部标注。结果显示，在实验组中预测的整体准确性较低，并且在性能差异上出现了一些特定的模式：\(i)\) 在唐氏综合征男性类别中，性别识别的错误率较高；\(ii)\) 唐氏综合征成人更常被错误地标注为儿童；\(iii)\) 在控制组和实验组中，社会刻板印象被传播，与美学相关的标签更常与女性相关联，与教育水平和技能相关的标签更常与男性相关联。虽然这些结果的范围有限，但它们为面部分类在应用于唐氏综合征患者的面部时所改变的偏见提供了新的见解。它们证实了该技术的结构性局限性，这种局限性本质上依赖于用于训练模型的数据集。
arXiv:2502.06336v1 Announce Type: cross
摘要：软组织手术，如肿瘤切除术，由于组织变形可能会掩盖组织的准确位置和形状。通过将组织表面表示为点云并应用非刚性点云对齐（PCR）方法，外科医生可以在手术前后更好地理解组织变形。现有的非刚性PCR方法，例如基于特征的方法，在面对噪声、离群值、部分数据和大变形等挑战时表现出鲁棒性的不足，使得准确的点对应关系难以实现。尽管基于学习的PCR方法，特别是基于Transformer的方法，由于其用于捕捉交互作用的注意力机制而显示出希望，但在挑战性场景中的鲁棒性仍有限。在这篇论文中，我们提出了一种名为DefTransNet的新型端到端基于Transformer的非刚性PCR架构。DefTransNet旨在通过输入源点云和目标点云并输出位移矢量场来解决可变形对齐的关键挑战，包括大变形、离群值、噪声和部分数据。所提出的方法结合了可学习的变换矩阵以增强对仿射变换的鲁棒性，整合了全局和局部几何信息，并使用Transformer捕捉点之间的长程依赖关系。我们使用模型网、SynBench、4DMatch和变形组织四个数据集进行了验证，使用合成和真实世界数据来证明我们提出方法的泛化能力。实验结果表明，DefTransNet在各种挑战性条件下都优于当前最先进的对齐网络。我们的代码和数据已公开可用。