arXiv:2503.23014v1 跨物种类型：跨物种
摘要：动机：近年来，蛋白质功能预测已经突破了序列特征的瓶颈，通过AlphaFold2预测的高度精确的蛋白质结构显著提高了预测准确性。虽然单物种蛋白质功能预测方法已经取得了显著的成功，但跨物种蛋白质功能预测方法仍处于使用PPI网络和序列特征的阶段。为物种稀疏的蛋白质注释提供有效的跨物种标签传播仍然是一个具有挑战性的问题。为了解决这个问题，我们提出了MSNGO模型，该模型结合了结构特征和网络传播方法。我们的验证结果显示，使用结构特征可以显著提高跨物种蛋白质功能预测的准确性。结果：我们采用图表示学习技术从蛋白质结构接触图中提取氨基酸表示，并使用图卷积池化模块训练一个结构模型以提取蛋白质级别的结构特征。在此基础上，我们从ESM-2引入序列特征，并应用网络传播算法来聚合信息并在异构网络中更新节点表示。结果表明，MSNGO优于依赖于序列特征和PPI网络的先前跨物种蛋白质功能预测方法。可用性：https://github.com/blingbell/MSNGO。
arXiv:2503.23011v1 交叉公告类型：
摘要：文本到图像（T2I）模型在涉及多个对象和属性的复杂场景中常常出现文本图像对齐不准确的问题。语义绑定旨在通过准确地将生成的属性和对象与其对应的名词短语（NPs）关联起来，来缓解这一问题。现有的方法依赖于文本优化或潜在优化，但影响语义绑定的因素依旧未得到充分探索。在这里，我们研究了文本词嵌入的几何属性及其交叉注意力（CA）图。我们通过实验和理论分析表明，词嵌入的几何属性，特别是角度距离和范数，在CA图的区分中起着至关重要的作用。然后，我们提出了一种名为TeeMo的无需训练的文本嵌入感知T2I框架，具有强大的语义绑定能力。TeeMo包括因果感知投影剔除（CAPO）以实现不同的NPs间的CA图，并包含我们的损失以增强NPs间的分离同时保持NPs内的凝聚力。广泛的实验结果显示，TeeMo在多种基准和数据集上都能稳定地超越先前的方法。
arXiv:2503.23002v1 类型：交叉
摘要：现实世界中的事件序列通常是由不同的时间点过程（TPPs）生成的，因此具有聚类结构。然而，在事件序列的建模和预测中，大多数现有的TPPs忽略了事件序列内在的聚类结构，导致模型在解释性方面不尽如人意。在本研究中，我们通过Gromov-Wasserstein（GW）正则化学习结构增强的TPPs，在极大似然估计框架中对TPPs在序列级嵌入上的聚类结构施加约束。在训练阶段，所提出的方法利用一个非参数TPP核来正则化基于序列嵌入的相似矩阵。在大规模应用中，我们抽样核矩阵并在Gromov-Wasserstein（GW）差异项中实现正则化，从而在稳定性和计算效率之间找到平衡。通过这种方法学习的TPPs生成了聚类的序列嵌入，并且在预测和聚类性能方面表现出竞争力，显著提高了模型的解释性，而不会牺牲预测准确性。
arXiv:2503.22998v1 宣告类型: cross
摘要: 尽管图神经网络（GNNs）取得了进展，但适应性攻击继续挑战其鲁棒性。基于随机化平滑的确诊鲁棒性已经证明是一种有希望的解决方案，它提供了在指定范围内对抗性扰动下模型预测保持稳定的可证明保证。然而，现有方法在准确性和鲁棒性之间面临着一个关键的权衡，更强的鲁棒性要求在输入图中引入更多的噪声。这种过度的随机化降低了数据质量并破坏了预测一致性，限制了在真实世界场景中部署确诊鲁棒性GNNs的能力，在这些场景中，准确性和鲁棒性都是必不可少的。为了应对这一挑战，我们提出了\textbf{AuditVotes}框架，这是首个能够在GNNs中同时实现高纯净准确性和确诊鲁棒准确性的框架。它将随机化平滑与两个关键组件——增强和条件平滑——相结合，旨在提高数据质量和预测一致性。增强作为预处理步骤，去除随机化图的噪声，显著改善了数据质量和纯净准确性。条件平滑作为后处理步骤，采用过滤函数有选择性地计数投票，从而去除低质量预测并提高投票一致性。广泛的经验结果表明，AuditVotes在保持高计算效率的同时，显著提升了纯净准确性和确诊鲁棒性以及实际鲁棒性。值得注意的是，在Cora-ML数据集上攻击者可以任意插入20条边的情况下，与基线随机化平滑相比，AuditVotes的纯净准确性提高了437.1%，确诊准确性提高了409.3%，这是朝着在真实世界应用场景中部署确诊鲁棒性GNNs迈出的重要一步。
arXiv:2503.22988v1 类型: cross
摘要: 差分隐私随机梯度下降（DP-SGD）是一种广泛采用的技术，用于保护隐私的深度学习。DP-SGD 中的一个关键挑战是在于选择最优的剪裁阈值 C，这涉及到在剪裁偏差和噪声幅度之间平衡，导致了大量的隐私和计算开销，在超参数调整过程中尤为明显。
在本文中，我们提出了一种名为动态剪裁 DP-SGD（DC-SGD）的框架，该框架利用差分隐私直方图来估计梯度范数分布并动态调整剪裁阈值 C。我们的框架包括两种新颖的机制：DC-SGD-P 和 DC-SGD-E。DC-SGD-P 根据梯度范数的百分位数调整剪裁阈值，而 DC-SGD-E 通过最小化梯度的期望平方误差来优化 C。这些动态调整大大减少了剪裁阈值 C 的超参数调整负担。在包括图像分类和自然语言处理在内的各种深度学习任务上进行的广泛实验表明，我们提出的方法在超参数调整方面的加速比 DP-SGD 快至 9 倍。而且，在相同的隐私预算下，DC-SGD-E 在 CIFAR10 上可以比 DP-SGD 提高 10.62% 的准确率。我们进行了严格的理论隐私和收敛性分析，显示我们的方法可以无缝地与 Adam 优化器集成。我们的结果突显了 DC-SGD 的稳健性能和效率，并为具有减少计算开销和增强隐私保障的差分隐私深度学习提供了实用的解决方案。
arXiv:2503.22982v1 类别: cross
摘要：通过提供推理卸载服务，边缘推理推动了在网络边缘的AI应用的迅速增长。然而，在严格的延迟要求下实现高任务吞吐量仍然是一个重大挑战。为解决这一问题，我们为多用户边缘推理开发了一个参数共享的AI模型加载（PartialLoading）框架，利用了两个关键见解：1）大部分延迟来源于将AI模型加载到服务器GPU内存的过程；2）不同AI模型可以共享大量参数，因此应该避免冗余加载。为此，我们提出了一个多用户调度和频谱带宽分配的联合问题，通过利用模型之间共享的参数块来最大化任务吞吐量。直觉是，合理调度用户请求，以便在连续加载的模型之间重用共享的参数块，从而大幅减少模型加载时间。为了便于求解，我们将问题分解为两个子问题，即用户调度和带宽分配，证明了逐个解决它们等价于解决原始问题。由于该问题的NP难性，我们首先研究了一个重要的特殊情况，称为“底层共享”情况，其中AI模型在群组内共享一些底层层，并设计了一个基于动态规划的算法，以在多项式时间内获得最优解。对于一般情况，其中共享的参数块出现在AI模型的任意位置，我们提出了一种贪婪启发式算法，以高效地获得次优解。仿真结果表明，在截止时间约束条件下，所提出的方法在利用参数共享时不考虑用户调度时显著提高了任务吞吐量。
arXiv:2503.22973v1 交叉类型：cross
摘要：跨语言开放式生成，即生成与用户查询语言不同的所需语言的回答，是一个重要但研究不足的问题。我们引入了XL-AlpacaEval，一个用于评估大型语言模型（LLMs）跨语言生成能力的新基准，并提出了一种高质量的合成数据生成方法XL-Instruct。仅使用8K XL-Instruct生成的指令微调显著提高了模型性能，将对抗GPT-4o-Mini的胜率从7.4%提高到21.5%，并在多个细化的质量指标上有所改进。此外，使用XL-Instruct微调的模型在英语only和多语言生成任务上表现出强大的零样本迁移能力。考虑到其在整个领域的持续收益，我们强烈建议在未来多语言LLMs的后训练管道中采用XL-Instruct。为了促进进一步的研究，我们将公开并免费发布XL-Instruct和XL-AlpacaEval数据集，这两个数据集是文献中为数不多的现有跨语言资源之一。
arXiv:2503.22971v1 公告类型: cross
摘要：联邦学习（FL）已成为机器学习领域的一个有前途的方法，它能够在不共享原始数据的情况下，通过分散设备之间的协作进行模型训练。在联邦学习中，全球模型会在各个设备上本地数据集上传递训练，每个设备都会为模型改进做出贡献。然而，这些本地数据集的异质性，源于不同的用户行为、设备能力和数据分布，提出了显著的挑战。联邦学习中固有的异质性导致了各种问题，包括模型性能差异、收敛挑战以及潜在的隐私问题。随着全球模型在训练轮次中的进展，本地数据质量与数量的差异可能会阻碍联邦学习系统的整体效果。此外，确保不同用户群体的公平性和隐私变得极为重要。为了解决这一问题，本文提出了一种名为ClusterGuardFL的新联邦学习框架，该框架采用差异性得分、k-means聚类和调整信任得分来动态分配客户端更新的权重。全局模型与本地模型之间的差异性得分指导簇的形成，簇的大小影响权重分配。在每个簇内，为个别数据点计算调整信任得分，softmax层生成针对客户端的定制化权重。这些权重在聚合过程中使用，增强模型的稳健性和隐私性。实验结果表明，提出的方法在多样化的数据集上实现了更好的模型性能。
arXiv:2503.22968v1 交叉发布公告类型
摘要：近期韩语大型语言模型（LLMs）的进步促进了众多基准测试和评估方法的发展，然而缺乏统一的评估框架导致了结果不一致且限制了可比性。为解决这一问题，我们推出了HRET Haerae Evaluation Toolkit，这是一个专为韩语LLMs设计的开源、自我进化的评估框架。HRET 统一了多种评估方法，包括基于logit的评分、精确匹配、语言不一致惩罚以及LLM作为评委的评估。其模块化、基于注册表的架构整合了主要基准测试（HAE-RAE Bench、KMMLU、KUDGE、HRM8K）和多个推理后端（vLLM、HuggingFace、OpenAI兼容的端点）。通过自动化的持续进化管道，HRET 为可重复、公平和透明的韩语NLP研究提供了坚实的基础。
arXiv:2503.22967v1 类别: cross
摘要: 从2024年2月开始，港科图库进一步扩展了人工智能素养的范围，将其扩展到人工智能运用，重点关注学生参与图库发起的“数字学术(Digital Scholarship, DS)合作实验室”项目中使用最新技术。DS合作实验室方案的一个关键重点是培养人才，并使学生能够结合实际项目使用先进技术。其目标是强化图书馆作为激发多学科合作的催化剂和中心枢纽的作用，并培养大学成员的"能做精神"。图书馆每年为学生提供1-2个项目，使他们在实际环境中接触先进技术，同时支持图书馆解决挑战和简化运营任务。本文介绍的工具主要由两位作者，Sherry Yip Sau Lai和Berry Han Liuruo，在2024春季学期（2月到5月）的一部分DS合作实验室方案中，作为兼职学生助手所开发的。本文详细描述了在不到一个学期的时间内，从最初的想法到实施，开发一个中文命名实体识别（NER）工具的完整过程，从初步的研究和规划阶段到执行并最终开发出一个可行的产品。该项目所培养的合作精神，学生们在其中扮演了重要角色，体现了以学生参与为优先，强调实际学习的创新教育模式的强大力量和潜力。