arXiv:2502.10707v1 宣布类型：交叉学科
摘要：心电图（ECG）对于临床诊断心律失常和其他心脏疾病至关重要，但由于基于ECG的深度学习方法往往需要高质量的标注，因此常常会受到限制。尽管之前的心电图自我监督学习（eSSL）方法已经在无标注ECG数据的表示学习上取得了显著进步，但它们通常将ECG信号视为普通的时序数据，并使用固定大小和固定步长的时间窗口对其进行分割，这往往忽略了ECG信号的形式、节奏特征以及潜在的语义关系。在这项工作中，我们引入了对ECG信号的新视角，将心跳视为单词，将节奏视为句子。基于这种视角，我们首先设计了QRS-Tokenize模块，该模块从原始ECG信号中生成语义有意义的ECG句子。在此基础上，我们提出了HeartLang，这是一种新的ECG语言处理的自我监督学习框架，用于在形式和节奏层次上学习通用表示。此外，我们构建了迄今为止最大的基于心跳的ECG词汇表，这将进一步推动ECG语言处理的发展。我们在六个多公开的ECG数据集上评估了HeartLang，结果显示它在与其他eSSL方法的竞争中表现出强大的竞争力。我们的数据和代码已在https://github.com/PKUDigitalHealth/HeartLang 公开提供。
arXiv:2502.10706v1 类型: cross
摘要：异常分布（OOD）泛化在图学习中已成为一个重要挑战，因为现实世界的图数据常常表现出传统模型无法泛化的多样化且不断变化的环境。解决这一问题的一个有前途的解决方案是图不变量学习（GIL），其旨在通过拆分标签相关的不变子图和环境特定的子图来学习不变表示。然而，现有的GIL方法面临两个主要挑战：（1）捕获和建模图数据中多样化的环境的难度，以及（2）语义悬崖，不同类别中的不变子图难以区分，导致类别可分性差和增加误分类。为应对这些挑战，我们提出了一种名为多原型超球面不变学习（MPHIL）的新方法，该方法引入了两个关键创新：（1）超球面不变表示提取，能够实现鲁棒且高度区分的超球面不变特征提取，以及（2）多原型超球面分类，采用类原型作为中间变量消除GIL中显式环境建模的需要并缓解语义悬崖问题。基于GIL的理论框架，我们引入了两个新的目标函数：不变原型匹配损失，确保样本与正确的类原型匹配，以及原型分离损失，在超球面上增加不同类原型之间的区分度。在来自不同领域和分布转移的各种11个OOD泛化基准数据集上的广泛实验表明，MPHIL实现了最先进的性能，显著优于现有方法，无论是在各种图数据上还是在不同分布转移中。
arXiv:2502.10704v1 宣告类型: cross
摘要：点云的非刚性对齐对于场景理解、重建以及各种计算机视觉和机器人任务至关重要。近年来，非刚性注册中的隐式变形网络的发展大大减少了对大量标注训练数据的依赖。然而，现有的最先进的方法仍然难以处理遮挡场景。为了解决这一问题，本文提出了一种名为遮挡感知对齐(Occlusion-Aware Registration, OAR)的创新无监督方法，用于非刚性对齐点云。我们方法的关键创新在于利用自适应重过剩函数作为局部相似性度量，使我们可以单独对待各个点。与仅最小化两个形状之间的整体偏差的先前方法不同，我们结合无监督的隐式神经表示和最大重过剩准则来优化未遮挡区域的变形。这有效地避免了塌陷、撕裂以及其他物理上不合理的结果。此外，我们提供了理论分析，并阐明了最大重过剩准则与常用的Chamfer距离之间的关系，突显出重过剩诱导的度量可以作为点云分析的通用度量。此外，我们引入了局部线性重构，以确保缺乏形状之间对应关系的区域仍然能进行自然的变形。我们的方法在处理遮挡几何体时优于现有方法，并且在诸如大规模变形、形状插值和遮挡干扰下的形状补全等挑战性任务中也展示了其 versatility。
arXiv:2502.10699v1 宣告类型: cross
摘要：在语言模型的发展中，上下文记忆整合仍然是一个高挑战，特别是在需要维持长时间序列连贯性时。传统方法，如自我注意力机制和记忆增强架构，通常优先处理短期依赖关系，导致长距离上下文理解中的碎片化和不一致性。受生物神经系统中观察到的突触可塑性原理的启发，提出了一种新的机制——突触共振，在训练和推理过程中动态强化相关记忆路径。与静态记忆表示不同，该机制根据上下文相关性连续调整突触权重矩阵，从而在不增加过多计算开销的情况下提高信息保留能力。在开源语言模型上的评估结果表明，该机制降低了困惑度，提高了上下文连贯性，并增强了对输入噪声的稳健性，突显了以强化驱动的记忆调制的有效性。与基线模型的比较分析进一步显示，提出的这种方法在保持计算可行性的同时实现了更高的记忆保留效率。这些架构修改无缝集成到现有的基于变换器的框架中，确保了稳定的收敛性和高效推理，而不牺牲可扩展性。受益于改善的长期上下文一致性的应用，如对话系统和文档摘要，可以从这种方法中受益。实证研究结果表明，动态增强的记忆路径提供了一种有前景的替代传统记忆机制的选择，解决了扩展序列建模中的长期局限性。
arXiv:2502.10698v1 Announce Type: cross
摘要：模型合并是一种关键的技术，用于结合多个微调模型的能力，而无需进行额外的训练。尽管现有方法将参数视为向量，但它们忽略了线性变换矩阵的内在结构——构成模型参数大部分的核心组件。这些矩阵是神经网络的基础，通过线性组合将输入表示映射到输出特征。受线性表示假设的启发，我们引入了任务矩阵，并提出了一种新颖的方法——任务矩阵特征叠加（SFTM），该方法将个体任务模型的特征叠加到合并模型中。SFTM 使用奇异值分解来识别线性变换矩阵的特征基，并通过求解线性系统以最优方式将它们结合在一起，同时保留个体任务模型的输入-输出映射。在视觉变换器和语言模型上的 extensive 实验表明，我们的方法在所有现有方法中表现最佳，实现了更优的性能和增强的离分布泛化能力。
arXiv:2502.10694v1 交叉公告类型
摘要：传统机器学习假设训练集和测试集来自相同的分布；然而，在实际应用中，这一假设并不总是成立。这种分布差异可能会导致在新数据集使用训练好的模型时出现严重的性能下降。领域适应（DA）是一种机器学习技术，旨在通过减少领域间的差异来解决这一问题。本文介绍了基于模拟的最近DA技术的算法，主要集中在仅在源领域有标签的无监督领域适应（UDA）上。我们的研究使用公共数据集和多样化特性，比较了这些技术各自的优劣。例如，在我们的模拟中，基于Transformer的领域适应的安全自我精炼（SSRT）在Office-31数据集上达到了最高的准确率（91.6%），但在使用有限批次大小时，准确率降至72.4%。除了提高读者对最近领域适应技术的理解外，我们的研究还指出了该领域的挑战和未来的研究方向。相关代码可在https://github.com/AIPMLab/Domain_Adaptation获取。
arXiv:2502.10689v1 交叉公告类型
摘要：电子健康记录（EHRs）数量的激增使得深度学习模型在预测性医疗保健方面表现出色。然而，在诊断预测等高风险应用中，模型的可解释性仍然是关键。现有的具有内在可解释性的深度学习诊断预测模型往往为每个过去的诊断或医院访问分配注意力权重，提供的解释缺乏灵活性和简洁性。在本文中，我们介绍了SHy，一种自我解释的超图神经网络模型，旨在提供个性化、简洁且忠实的解释，从而允许临床专家进行干预。通过将每个患者建模为一个独特的超图，并采用消息传递机制，SHy捕捉到了更高级别的疾病相互作用，并提取出个性化的独立时间表型作为解释。此外，SHy还通过考虑原始诊断记录中的重要假阴性情况，解决了EHR数据的不完整性问题。在两个真实世界的EHR数据集上的定性案例研究和广泛的定量评估表明，SHy在预测性能和可解释性方面优于现有的最先进的模型。
arXiv:2502.10678v1 交叉领域公告类型
摘要：本文探讨了生成视觉辅助在人类与机器人任务通信中的集成。我们开发了GenComUI，这是一种基于大型语言模型的系统，能够动态生成上下文相关的视觉辅助（如地图标注、路径指示器和动画），以支持口头任务通信并促进为机器人生成定制的任务程序。该系统借鉴了一项形成性研究，该研究探讨了人类如何利用外部视觉工具来协助空间任务中的口头通信。为了评估其有效性，我们进行了一个用户实验（n=20），比较了GenComUI与仅语音基线。结果表明，生成的视觉辅助，通过定性和定量分析，通过提供连续的视觉反馈，增强了口头任务通信，从而促进了自然和有效的机器人-人类通信。此外，研究还提供了一组设计建议，强调了动态生成的视觉辅助如何作为一种有效的通信媒介在人机交互中发挥作用。这些发现强调了生成视觉辅助在人机交互设计中的潜力，特别是在复杂的人机交互通信场景和基于LLM的面向用户的开发中更直观和有效的通信设计方面。
arXiv:2502.10637v1 宣告类型: cross
摘要: 我们提出了一种机制，该机制允许可参与网络的一个参与者（Alice）向另一个参与者（Bob）请求某些数据，并在以下三种情况之一中获得响应：在预先知道且受限制的时间b内收到Bob的回复；在b时间内收到证明，证明在前往Bob的路上至少有一条边被破坏；或收到与超过b时间后未收到回复这段时间成比例的流式支付。此机制使得可以构建需要其他参与者可验证响应的下游应用程序，如去中心化存储解决方案、去中心化AI代理，以及其他应用。
arXiv:2502.10631v1 宣告类型: cross
摘要：大型语言模型（LLMs）采用三种流行的训练方法：掩码语言模型（MLM）、因果语言模型（CLM）和序列到序列模型（seq2seq）。然而，每种方法都有其优缺点，并在处理需要可控和双向生成的具体任务时面临挑战，例如药物优化。为了解决这一挑战，我们受到生物生长和进化过程中序列的扩展、缩小和突变过程的启发，引入了ControllableGPT。这一举措代表了首次尝试将MLM、CLM和seq2seq的优点结合起来，形成一个统一且可控的GPT框架。它允许对序列中特定位置和范围进行精确管理，使其在选择或随机长度上进行扩展、缩小或突变，同时保持任何指定位置或子序列的完整性。在本文中，我们从头开始为药物优化设计了ControllableGPT，这包括提出因果掩码序列到序列（CMS）目标、开发训练语料库、引入新的预训练方法以及设计独特的生成过程。我们通过在病毒和癌症基准测试中的药物优化任务中进行实验，展示了ControllableGPT的有效性和可控性，并超过了竞争对手的基础模型。