arXiv:2502.06842v1 交叉公告类型：cross
摘要：医疗保健系统正面临着满足日益增长的神经学护理需求的挑战，特别是在阿尔茨海默病及相关痴呆症（ADRD）方面，面临的困难尤为严重。尽管人工智能研究往往侧重于发现超出人类感知范围的模式，但在将这些预测能力付诸实施时，由于临床医生无法轻易验证他们自己无法察觉的见解，这仍然是一项挑战。我们提议，大型语言模型（LLMs）在三个关键领域为临床医生提供了更实际的应用：全面的数据收集、复杂临床信息的解读以及相关医学知识的及时应用。这些挑战源于诊断时间有限，数据复杂度增加，以及令任何临床医生都难以全面掌握的大量医学文献。我们提出了一种负责任的人工智能整合框架，利用LLMs有效与患者和提供者沟通的能力，同时保持人类监督。这种方法以标准化和高质量的数据收集为优先，使系统能够从每个患者接触中学习，并结合最新的临床证据，持续改进医疗服务。我们开始解决实施挑战，并就伦理考虑和治理需求展开重要讨论。虽然该框架最初是为ADRD设计的，但其为神经学及其他医学专科负责任的人工智能整合提供了原则，有望提高诊断准确性，减少护理差距，并通过学习型医疗保健系统促进临床知识的进步。
arXiv:2502.06839v1 交叉公告类型
摘要：本文提出了一种新的训练策略，旨在使用最少的声学信息和回声（湿）语音来提高语音去混响系统的效果。现有的大多数算法依赖配对的干/湿数据，而这种数据难以获得，或者依赖于可能无法充分捕捉混响特性的目标指标，从而可能导致在非目标指标上表现不佳。我们的方法使用有限的声学信息，如混响时间（RT60），来训练一个去混响系统。系统的输出使用生成的房间冲激响应重新合成，并与原始回声语音进行比较，提供了一种新颖的混响匹配损失，替代了标准的目标指标。在推理过程中，仅使用训练好的去混响模型。实验结果表明，我们的方法在各种用于语音去混响的标准目标指标中取得了更加一致的性能，优于最先进的方法。
arXiv:2502.06836v1 交叉类型公告
摘要：近期在人工智能领域的进展彻底改变了材料科学中的属性预测并加速了新材料的发现。图神经网络（GNNs）因其能够将晶体结构表示为图，有效地捕捉局部相互作用并提供优越的预测而脱颖而出。然而，这些方法往往会丢失关键的全局信息，如晶体系统和重复单元的连接性。为了解决这个问题，我们提出了一种基于交叉注意力的多模态融合模型CAST，该模型将图和文本模态结合起来以保留重要材料信息。CAST 通过交叉注意力机制结合节点级和标记级特征，超越了依赖材料级嵌入技术如图平均池化或[CLS]标记的先前方法。通过掩码节点预测预训练策略进一步增强了原子级信息的整合。我们的方法在晶体带隙等四个晶体属性的属性预测中，相对于CrysMMNet和MultiMat等方法，最高取得了22.9%的改进。预训练是使节点和文本嵌入对齐的关键，注意力图进一步证实了其在捕捉节点和标记之间关系方面的有效性。这项研究突显了多模态学习在材料科学中的潜力，为结合局部和全局信息的更健壮预测模型铺平了道路。
arXiv:2502.06834v1 声明类型: 交叉
摘要: 传统的工业广告排名系统依赖于带标签的印象数据，这导致了诸如过拟合、模型扩展时增量增益较慢以及由于训练数据和 Serving 数据之间的差异导致偏见等问题。为了克服这些问题，我们提出了一种用于广告排名的统一知识蒸馏和半监督学习框架 (UKDSL)，该框架能够利用显著更大且更具多样性的数据集进行模型训练，从而减少过拟合和缓解训练数据与 Serving 数据之间的差异。我们对多阶段排名系统的固有失真和预测偏见进行了详细的正式分析和数值模拟，并展示了所提出框架缓解这些问题的实证证据。与以前的工作相比，UKDSL 可以使模型能够学习来自大量未标记数据集，因此，在计算效率方面提高了性能。最后，我们在多个排名模型中成功部署了 UKDSL，并为多十亿级别的用户提供服务，覆盖了各种表面、地质位置、客户群，并针对各种事件进行优化，据我们所知，这是首次在如此大规模和高效的操作中实现此类部署。
arXiv:2502.06833v1 宣布类型: cross
摘要: 我们提出了熵自适应解码 (EAD)，这是一种基于预测不确定性动态切换不同大小模型的新颖方法，以实现高效的语言模型推理。通过监控模型逻辑运算分布中的滚动熵，我们的方法识别出足够使用较小模型的文本区域，并且只有在预测不确定性超过阈值时才会切换到较大模型。与维持输出完全准确性的推测性解码方法不同，EAD 以可控的输出差异为代价换取计算效率。我们的基准测试中的 MATH 数据集实验表明，EAD 在不同模型家族中均实现了显著的效率提升。使用 LLaMA 家族模型时，我们保持了 11B 模型 96.7% 的性能（50.4% 的准确性 vs 52.1%），但仅使用其 43% 的 token，计算成本减少了 41.5%。随着 Qwen 家族模型大小差异的增大，这些收益更加显著，我们实现了 14B 模型 92.9% 的性能（74.3% 的准确性 vs 80.0%），但仅使用其 25% 的 token，计算成本减少了 67%。这些结果的一致性表明，可以基于局部生成复杂性选择性地部署模型能力，从而显著优化语言模型计算。我们的发现表明，当前的模型推理方法可能在追求完全准确的输出方面过于谨慎，接受轻微的性能权衡可以实现巨大的计算成本降低。
arXiv:2502.06832v1 类型: cross
摘要: 专家混合（MoE）在利用专业专家网络进行复杂机器学习任务方面表现出显著的成功。然而，其对对抗攻击的易感性为在稳健应用程序中部署带来了一个关键挑战。本文探讨了如何在保持高自然准确性的前提下将鲁棒性整合到MoE中。我们首先分析了MoE组件的漏洞，发现专家网络比路由器更易受到对抗攻击。基于这一洞察，我们提出了一种针对鲁棒性的训练技术，该技术整合了一个新的损失函数来增强MoE的对抗鲁棒性，仅需对一个额外的专家进行鲁棒化处理，而不影响训练或推理效率。在此基础上，我们引入了一种双模型策略，该策略线性结合了一个标准的MoE模型和我们的鲁棒化MoE模型，并使用平滑参数进行组合。这种方法允许灵活控制鲁棒性-准确性的权衡。我们进一步通过为单个MoE和双模型建立理论基础，得出了确定的鲁棒性边界。为了进一步提升鲁棒性和准确性，我们为双模型提出了一种新的联合训练策略JTDMoE。这种联合训练方式在鲁棒性和准确性上超过了单独模型的表现。使用ResNet18和Vision Transformer（ViT）架构在CIFAR-10和TinyImageNet数据集上的实验结果表明，我们提出的方法是有效的。
arXiv:2502.06831v1 Announce Type: cross
摘要：隐式神经表示（INRs）在应对地球表示挑战方面显示出越来越大的潜力，从排放监测到气候建模等各方面都是如此。然而，现有的方法过度强调全球平均性能，而实践者需要详细的见解来理解这些模型中的偏差和变化。为了弥合这一差距，我们引入了FAIR-Earth：这是首个明确为检视和挑战地球表示中的不平等现象而设计的数据集。FAIR-Earth 包含各种高分辨率的地球信号，并且独特地沿诸如陆地面积和人口密度等分层聚合了大量元数据，以评估模型的公平性。我们对FAIR-Earth的各种模态中的最先进的INRs进行了评估，发现了一些惊人的性能差异。某些子群体，特别是与高频信号（如岛屿、海岸线）相关的群体，始终被现有方法建模得不好。为应对这一问题，我们提出了基于球面小波编码的方法，这是在空间编码研究的基础上进行的。利用小波的多分辨率能力，我们的编码在不同规模和位置上提供了一致的性能，为这些有偏差的子群体提供了更准确和稳健的表示。这些开源贡献代表了朝着公平评估和部署地球INRs迈出的重要一步。
arXiv:2502.06830v1 交叉类型：公告
摘要：有效的日内电价概率预测对于管理市场不确定性并支持稳健的交易策略至关重要。然而，当前方法往往在参数利用上效率低下，因为它们未能充分利用订单簿中的出价和要价之间潜在的相互依赖性建模，这需要大量的参数来进行表示学习。此外，这些方法还面临量纲跨越问题，即上量纲低于下量纲的情况，导致不可靠的概率预测。为解决这两个挑战，我们提出了一种称为OrderFusion的编码方法，并设计了一个分层多量纲头部。OrderFusion将订单簿编码为2.5维表示，该表示由一个定制的跳跃交叉注意力骨干网络处理，以捕捉出价和要价之间的相互依赖性，从而实现参数高效的学習。头部将中位量纲作为锚点，并通过非负函数逐级预测多个量纲，通过确保量纲之间的单调性来确保可靠性。在德国订单簿数据上使用四个价格指数——60分钟ID3、60分钟ID1、15分钟ID3和15分钟ID1进行了广泛的实验和消融研究，以确保公平的评估。结果显示，我们的设计选择提高了整体性能，提供了一种参数高效的、可靠的概率日内电价预测解决方案。
arXiv:2502.06829v1 交叉公告类型
摘要：在本文中，提出了基于卷积的转换器（Convolution-Based Converter, CBC）方法，以开发一种基于观测数据估计目标的概率分布的方法，其中不依赖于强或固定的先验知识。传统的方法，例如基于马尔科夫和基于高斯过程的方法，通常根据强或固定的先验知识（如马尔科夫性质或高斯先验）利用观测数据来估计目标。然而，这些方法的有效性取决于它们的先验假设与问题特征的匹配程度。当假设的先验条件不成立时，这些方法可能表现不佳甚至变得不可用。为了克服上述限制，我们引入了基于卷积的转换器（CBC），该方法隐式地估计目标的条件概率分布，而不依赖于强或固定的先验知识，并直接输出满足观测约束的随机过程的期望轨迹。这种方法减少了对先验的依赖性，增强了在解决不同类型问题时建模随机过程的灵活性和适应性。实验结果表明，我们的方法在多个指标上优于现有基线方法。
arXiv:2502.06828v1 Announce Type: cross
摘要：本研究考察了在因果框架内，在大规模用户群体和每位参与者多次会话的在线纵向脑电图（EEG）运动想象（MI）解码中持续微调策略的效果。我们首次在大规模用户群体中探索此类策略，因为纵向适应通常仅在单用户设置中使用单一适应策略进行研究，这限制了研究结果的通用性。首先，我们考察了不同微调方法对解码器性能和稳定性的影响。在此基础上，我们引入在线测试时适应（OTTA）来在部署过程中适应模型，从而补充先前微调的效果。研究结果显示，逐步建立在先前特定用户信息上的微调不仅提高了性能，还增强了稳定性，而OTTA则有效适应了连续会话中不断变化的数据分布，从而实现了无校准操作。这些结果为未来在纵向在线MI解码方面的研究提供了宝贵的见解和建议，并突显了结合领域适应策略以提高BCI性能的重要性在实际应用中的重要性。临床相关性：我们的研究使长时间稳定的运动想象解码成为可能，这对于神经康复和辅助技术至关重要。