arXiv:2502.08160v1 公告类型：交叉
摘要：垂直联邦学习（VFL）是一种隐私保护的合作学习范式，它允许拥有不同特征集的多个参与方在无需共享其原始数据的情况下共同训练机器学习模型。尽管VFL有能力促进跨组织的合作，但在实际应用中的部署仍然受到限制。为了研究现有VFL研究与实际部署之间的差距，本综述分析了潜在VFL应用中的真实数据分布，并确定了四个关键发现，突显了这一差距。我们根据实际的VFL数据分布提出了一个新颖的数据导向的VFL算法分类法。我们对现有VFL算法的全面回顾揭示了一些常见的实际VFL场景几乎没有或根本无法解决的方法。基于这些观察结果，我们明确了关键的研究方向，旨在弥合当前VFL研究与实际应用之间的差距。
arXiv:2502.08155v1 宣告类型: cross
摘要: 无线传感器技术极大地改善了我们的日常生活。然而，无线信号对周围的环境非常敏感。各种因素，例如环境、位置和个体，可能会对无线传播产生额外影响。这种变化可以被视为一个领域，在这个领域中，数据分布发生了转移。大多数感测方案都是基于学习的，依赖于训练域，导致在未见域中的性能下降。研究人员提出了各种解决方案来解决这个问题。但这些解决方案依赖于半监督或无监督领域适应技术。它们仍然需要目标域的一些数据，并且在未见域中的表现不佳。在本文中，我们提出了一种领域泛化框架 DGSense，以消除无线感测中的领域依赖性问题。该框架是一个适用于多种感测任务和无线技术的通用解决方案。一旦构建了感测模型，它就可以在无需目标域数据的情况下泛化到未见域。为了实现这一目标，我们首先通过虚拟数据生成器增加了训练集的多样性，然后通过主要特征提取器与领域特征提取器之间的阶段性训练提取领域无关特征。特征提取器采用具有空间特征注意力机制的预训练残差网络（ResNet）和用于时间特征的一维卷积神经网络（1DCNN）。为了证明 DGSense 的有效性及其通用性，我们在WiFi手势识别、毫米波（mmWave）活动识别以及声学跌倒检测中进行了评估。所有系统在新的用户、位置和环境中均表现出较强的未见域泛化能力，无需新的数据和重新训练。
arXiv:2502.08150v1 宣告类型: cross
摘要: 本文介绍了力匹配 (ForM)，这是一种新颖的生成模型框架，最初探索了利用特殊相对论力学增强采样过程稳定性的方法。通过引入洛伦兹因子，ForM 强加了一种速度约束，确保样本速度保持在恒定限值内。这种约束作为稳定生成动力学的基本机制，导致了更加稳健和可控的采样过程。我们提供了一致的理论分析，证明了在ForM框架内的采样过程中，速度约束得以保持。为了验证我们方法的有效性，我们进行了广泛的实证评估。在 \textit{half-moons} 数据集上，ForM 显著优于基线方法，实现了最低的欧几里得距离损失 \textbf{0.714}，而传统的第一阶流匹配（5.853）和第一阶和第二阶流匹配（5.793）则表现不佳。此外，我们进行了消融研究，进一步探讨了我们速度约束的影响，证实了 ForM 在稳定生成过程方面的优越性。理论保证和实验结果强调了将特殊相对论原理整合到生成模型中的潜力。我们的发现表明，ForM 提供了实现稳定、高效和灵活生成过程的有希望的途径。这项工作为高维生成模型的进一步发展奠定了基础，开辟了将物理原理应用于机器学习的新途径。
arXiv:2502.08149v1 宣告类型: cross
摘要：本文解决了实例分割中的泛化类别发现（GCD）任务。目标是在给定标记和未标记数据的情况下，发现新的类别并获得一个能够分割已知和新型类别实例的模型。由于现实世界中包含大量长尾分布的对象，每个类别的实例分布本质上是不平衡的。为了应对不平衡的分布，我们提出了一种实例级温度分配（ITA）方法用于对比学习，以及类别级可靠性标准用于伪标签。ITA方法通过放松对头类样本的实例区分性来增强GCD。可靠性标准则是为了避免在使用GCD生成的伪标签训练实例分割网络时，将尾类的大部分伪标签排除在外。此外，我们提出了动态调整标准的方法，在早期阶段利用多样化的样本，而在后期阶段仅依赖可靠的伪标签。我们还引入了一个高效的软注意力模块来为GCD编码对象特定的表示。最后，我们通过在两个设置：COCO_half + LVIS和LVIS + Visual Genome上进行实验来评估我们提出的方法。实验结果表明，所提出的方法优于先前的最先进的方法。
arXiv:2502.08145v1 Cross类型的公告
摘要：训练和微调拥有数百亿到数万亿参数的大语言模型（LLMs）需要成千上万个GPU，并且需要一个高度可扩展的软件栈。在本文中，我们介绍了在高度可扩展、便携和开源框架AxoNN中实现的一种新的四维混合并行算法。我们描述了在AxoNN中进行的多种性能优化，包括提高矩阵乘法内核性能、将非阻塞集体操作与计算重叠、以及性能建模以选择性能最优配置。这些优化措施使得GPT风格的变换器模型在Perlmutter（620.1 Petaflop/s）、Frontier（1.381 Exaflop/s）和Alps（1.423 Exaflop/s）上达到了前所未有的可扩展性和峰值吞吐率（bf16）。
虽然随着可训练参数数量的增加，大语言模型的能力也在增强，但这也增加了由于训练数据记忆所导致的隐私和版权风险，这可能会在推理过程中外泄敏感或私人信息。我们通过探索“灾难性记忆化”的实验突出了这一规模效应的副作用，模型足够大可以在一个来回中记住训练数据，并提出了一种防止这种情况的方法。作为这项研究的一部分，我们展示了使用AxoNN在Frontier上对一个4055亿参数的LLM进行微调。
arXiv:2502.08122v1 类别: cross
摘要: 我们介绍了Hookpad Aria，这是一个生成式AI系统，旨在帮助音乐家编写西方流行歌曲。我们的系统无缝集成到Hookpad中，这是一个基于网络的编辑器，用于乐谱创作：一种描述旋律和和声的符号乐谱。Hookpad Aria 现有多种生成能力，旨在协助用户在非顺序作曲流程中使用，包括：(1) 生成现有材料的从左到右延续，(2) 补充现有材料中间缺失的部分，以及(3) 从旋律生成和声，反之亦然。Hookpad Aria 也是一个可扩展的音乐共创数据飞轮——自2024年3月发布以来，Aria 为3000名用户生成了318,000条建议，其中74,000条被用户纳入他们的作品中。
更多关于Hookpad Aria的信息可在 https://www.hooktheory.com/hookpad/aria 获取
arXiv:2502.08109v1 交叉声明类型：cross
摘要：近期大规模语言模型（LLMs）的进步展示了令人 promising 的改进，常在自然语言处理领域的多种下游任务中超过现有方法。然而，这些模型仍然面临挑战，这些挑战可能妨碍它们的实际应用。例如，幻觉现象已知会损害LLMs的可靠性，特别是在要求高度事实精确度的领域。当前基准主要集中在幻觉检测和事实性评估，但并未扩展到超出识别的范围。本文提出了一种增强解释的幻觉检测模型，命名为HuDEx，旨在通过检测幻觉并提供详细解释来提高LLM生成响应的可靠性。所提出的模型提供了一种新的将检测与解释结合的方法，从而使用户和LLM本身能够理解并减少错误。我们的测量结果显示，所提出的模型在幻觉检测准确性方面超过了大型LLM，如Llama3 70B和GPT-4，同时保持可靠的解释。此外，所提出的模型在零-shot测试环境和其他测试环境中表现良好，展示了其在多样基准数据集上的适应性。所提出的方法进一步提高了幻觉检测研究，通过引入一种将可解释性与幻觉检测结合的新方法，进一步提高了语言模型中评估幻觉的性能和可靠性。
arXiv:2502.08108v1 Announce Type: cross
摘要：生成式AI在软件工程中的广泛应用标志着一种范式的转变，为软件工程工具的设计和利用提供了新的机会，同时影响了开发者及其创造的成果。传统的软件工程实证方法，包括定量、定性和混合方法，已经得到了很好的建立。然而，这种范式的转变引入了新的数据类型，并重新定义了许多软件工程过程中的概念。开发者、用户、代理和研究人员的角色越来越多地重叠，模糊了这些社会和技术行为者之间的界限。
本文探讨了将AI集成到软件工程中对传统研究范式的挑战。它关注我们调查的研究现象、我们采用的方法和理论、我们分析的数据以及在这一新背景下出现的效度威胁。通过这种探索，我们的目标是了解AI的采用如何扰乱了传统的软件开发实践，从而为实证软件工程研究带来了新的机遇。
arXiv:2502.08106v1 宣告类型: cross
摘要：扩散模型在近年来取得了显著进展。然而，当它们在不平衡数据集上进行训练或微调时，性能往往会下降。这种下降主要是由于图像-文本对中主流数据和少数数据的不成比例的表示。在本文中，我们提出了一种通用的微调方法，称为PoGDiff，以解决这一挑战。PoGDiff不直接最小化预测分布和真实分布之间的KL散度，而是用一个结合了原始真实目标和基于邻近文本嵌入条件下的预测分布的产品高斯(PoG)来替换真实分布。在实际数据集上的实验表明，我们的方法有效地解决了扩散模型中的不平衡问题，提高了生成的准确性和质量。
arXiv:2502.08101v1 跨域类型：cross
摘要：节点令牌化图变换器（GTs）在节点分类任务中展示了令人鼓舞的性能。现有的令牌化GTs中的令牌序列生成模块是关键组件，它将输入图转换为令牌序列，通过变换器促进节点表示学习。在这项工作中，我们观察到，现有的GTs中令牌序列的生成仅关注构建的相似性图中的邻近节点，这导致节点生成多样化的令牌序列的使用有限，进一步限制了令牌化GTs在节点分类中的潜力。为了解决这一问题，我们提出了一种名为SwapGT的新方法。SwapGT首先引入了一种基于令牌序列特性的新颖令牌交换操作，充分利用节点的语义相关性，生成更具信息量的令牌序列。然后，SwapGT利用基于变换器的骨干网络从生成的令牌序列中学习节点表示。此外，SwapGT开发了一种中心对齐损失，以约束从多个令牌序列中学习表示，进一步增强了模型性能。各种数据集上的大量实验证明了SwapGT在节点分类中的优越性。