arXiv:2502.01678v1 交叉公告类型：跨学科
摘要：脑电图（EEG）提供了一种无创、高度可访问且成本效益高的解决方案，用于阿尔茨海默病（AD）的检测。然而，现有的方法，无论是基于手动特征提取还是深度学习，面临着两大挑战：缺乏大规模数据集来进行稳健的特征学习和评估，以及由于被试间变化而导致的检测性能较差。为了解决这些挑战，我们整理了一个包含813名被试的EEG-AD语料库，这是我们目前所知的最大的EEG-AD数据集。使用这一独特的数据集，我们提出了LEAD，这是第一个基于EEG的AD检测的大规模基础模型。我们的方法涵盖了从数据选择和预处理到自我监督对比预训练、微调以及被试独立评估和被试级别多数投票的整个管道。我们在11个EEG数据集上预训练模型，并在5个AD数据集上统一微调。我们自我监督的预训练设计包括样本级和被试级对比，以提取有用的通用EEG特征。在5个通道对齐的数据集上进行了微调。我们的骨干编码器结合了时域和通道嵌入，以捕捉跨时空维度的特征。我们的方法展示了卓越的AD检测性能，与最先进的方法相比，在样本级别实现了高达9.86%的F1分数增加，在被试级别实现了高达9.31%的增加。我们模型的结果强烈证实了对比预训练和通道对齐统一微调在解决被试间变化中的有效性。源代码可在https://github.com/DL4mHealth/LEAD。
arXiv:2502.01677v1 通知类型: cross
摘要：AI 扩展 traditionally 一直与“规模扩大”synonymous 捆绑在一起，即构建更大、更强大的模型。然而，跨多种应用领域对效率、适应性和协作日益增长的需求促使我们需要更广泛的角度来审视这个问题。本文立场论文提出了一个全面的AI扩展框架，包括“规模扩大”Scaling Up、“规模缩小”Scaling Down 和“规模扩展”Scaling Out。本文认为，尽管模型的“规模扩大”面临着固有的瓶颈，但AI扩展的未来方向在于“规模缩小”和“规模扩展”。这些范式解决了一些关键的技术和社会挑战，如减少碳足迹、确保公平访问和增强跨领域协作。我们探讨了在医疗保健、智能制造和内容创作等领域的变革性应用，展示了AI扩展如何在效率、个性化和全球连接方面推动突破。此外，我们还指出了关键挑战，包括平衡模型复杂度与可解释性、管理资源限制和促进道德发展。通过综合这些方法，我们提出了一个统一的路线图，重新定义了AI研究和应用的未来，为通向通用人工智能（AGI）的进步铺平了道路。
arXiv:2502.01675v1 类型: cross
摘要：随着数字技术的进步，通信网络在处理由智能设备生成的大量数据时面临着挑战。自主车辆、智能传感器和物联网系统需要新的范式。本论文通过将语义通信和生成模型集成起来，优化图像压缩和边缘网络资源分配，来应对这些挑战。与以位为中心的系统不同，语义通信侧重于传输具有特定意义的数据，而不是获得原始数据的忠实表示。通信基础设施可以从显著提高带宽效率和减少延迟中受益。本研究的核心在于使用生成对抗网络和去噪扩散概率模型设计保语义的图像压缩方法。这些模型通过仅编码语义相关特性来压缩图像，从而实现高质量重建，同时传输量最小。此外，提出了一个以目标为导向的边缘网络优化框架，利用信息瓶颈原理和随机优化动态分配资源并提高效率。通过将语义通信集成到边缘网络中，这种方法平衡了计算效率和通信效果，使其适用于实时应用程序。论文使用经典和语义评估指标比较了语义感知模型与传统图像压缩技术。结果表明，将生成AI与语义通信结合起来有可能创建更高效的语义目标导向的通信网络，以满足现代数据驱动应用的需求。
arXiv:2502.01673v1 交叉领域类型: 自然语言处理 (NLP)
摘要：印地语族语言的多样性和复杂性为自然语言处理 (NLP) 任务，特别是在问答 (QA) 领域带来了独特的挑战。为了应对这些挑战，本文探讨了状态空间模型 (SSMs) 在构建适合印地语族语言的高效且上下文感知的问答系统方面的应用。SSMs 特别适合这项任务，因为它们能够建模序列数据中的长期和短期依赖关系，使它们能够很好地处理印度语言中丰富多彩的形态学、复杂的句法以及上下文中的复杂性。我们在多种印地语族语言的多样数据集上评估了多个 SSM 架构，并对其性能进行了比较分析。我们的结果表明，这些模型有效地捕捉到了语言的细微之处，从而在问题解释、上下文对齐和答案生成方面取得了显著改进。这项工作代表了状态空间模型首次应用于印地语族语言的问答任务，为未来在这个领域的研究建立了基础基准。我们提出了现有 SSM 框架的改进，以优化其在资源有限的环境和印地语族语言中普遍存在的多语言场景中的应用。
arXiv:2502.01672v1 类型: cross
摘要: 我们提出了双重稳健蒙特卡洛树搜索 (DR-MCTS) 算法，这是一种将双重稳健 (DR) 非策略估计集成到蒙特卡洛树搜索 (MCTS) 中的新颖算法，以增强复杂环境中的样本效率和决策质量。我们的方法引入了一种混合估计器，将 MCTS 蒙特卡罗展开与 DR 估计结合起来，在特定条件下提供了无偏性和方差减少的理论保证。在井字游戏和部分可观测的 VirtualHome 环境中的实证评估表明，DR-MCTS 在性能上优于标准 MCTS。在井字游戏中，DR-MCTS 的胜率达到了 88%，而标准 MCTS 的胜率为 10%。在复合 VirtualHome 任务中，DR-MCTS 的成功率达到了 20.7%，而标准 MCTS 的成功率仅为 10.3%。我们的可扩展性分析揭示，DR-MCTS 在样本效率方面表现出色，特别是在使用较小模型时，比标准 MCTS 更好地利用了更大的语言模型。这些结果强调了 DR-MCTS 在样本效率至关重要的复杂现实场景中的高效决策潜力。
arXiv:2502.01671v1 宣告类型: cross
摘要: 专用硬件加速器有助于人工智能（AI）的迅速发展，其效率影响着AI的环境可持续性。本研究介绍了首个全面的人工智能加速器生命周期评估（LCA），包括首个公布的人工智能加速器制造排放。
我们的分析涵盖了五种张量处理单元（TPU）的整个硬件生命周期——从原材料提取、制造和处置，到开发、部署和提供AI模型时的能源消耗。利用第一方数据，它提供了迄今为止对人工智能硬件环境影响的最全面评估。我们包含详细的LCA描述，旨在作为教程、路线图和灵感的来源，以帮助其他计算机工程师执行类似的LCA，帮助我们了解我们芯片及其对AI的环境影响。
这项研究的一个副产品是新提出的度量标准计算碳强度（CCI），这对于评估人工智能硬件的可持续性以及估算训练和推理的碳足迹非常有用。研究表明，从TPU v4i到TPU v6e，CCI提高了3倍。
此外，虽然本文的重点是硬件，但软件的进步能够利用和放大这些优势。
arXiv:2502.01669v1 宣告类型: cross
摘要：在在线数字广告领域，点击率（CVR）预测在按点击收费（CPA）模型中起着至关重要的作用，其中广告商仅在用户完成特定行动（如购买）时才会被收费。CVR预测的一个主要挑战是延迟反馈问题——转换可能在初期用户互动后几个小时甚至几周后发生。这种延迟使模型训练复杂化，因为最近的数据可能不完整，从而导致偏差和性能下降。尽管现有方法试图解决这一问题，但它们往往难以适应不断变化的用户行为，并依赖辅助模型，这引入了计算效率低下和模型不一致的风险。在此项工作中，我们提出了一种利用影响函数的延迟反馈建模框架（IF-DFM）。IF-DFM利用影响函数来估计新获得和延迟的转换数据如何影响模型参数，从而在无需完全重新训练的情况下实现高效的参数更新。此外，我们提出了一种可扩展的算法，通过将逆海森矩阵-向量乘积重新表述为一个优化问题，高效计算参数更新，从而在计算效率和有效性之间取得平衡。在基准数据集上的 extensively 实验表明，IF-DFM 一致地超越了现有最先进的方法，显著提高了预测准确性和模型适应性。
arXiv:2502.01667v1 类型: cross
摘要: 直接偏好优化(DPO)在使扩散模型与人类偏好对齐方面取得了成功。先前的方法通常假设最终生成物和中间步骤中的嘈杂样本之间的一致偏好标签，并直接将DPO应用于这些嘈杂样本进行微调。然而，我们从理论上识别出这种假设存在内在问题，并且这些问题影响了偏好对齐的有效性。我们首先从两个视角证明了这些内在问题：梯度方向和偏好顺序，然后提出了一种适应性偏好优化(TailorPO)框架，该框架以一些理论洞察为基础，使扩散模型能够与人类偏好对齐。我们的方法直接根据中间嘈杂样本的步进奖励对其进行排序，并通过一个简单而有效的设计有效解决了梯度方向问题。此外，我们还将扩散模型的梯度引导纳入偏好对齐中，以进一步增强优化效果。实验结果表明，我们的方法显著提高了模型生成美观且符合人类偏好的图像的能力。
arXiv:2502.01662v1 交叉类型: ensemble
摘要：通过组合多个模型来增强大型语言模型（LLMs）的集成方法面临着高计算成本的问题。在本文中，我们引入了一种名为推测性集成的新框架，该框架可以在不牺牲性能的情况下加速LLM集成。这一框架受到推测性解码的启发，推测性解码中，一个较小的提议模型会依次生成令牌，而一个较大的目标模型会并行验证这些令牌。我们的方法基于两个关键洞察：（1）验证分布可以是提议模型和目标模型两个模型的集成分布，（2）交替各自模型作为提议者和验证者可以进一步提高效率。我们将此方法推广到具有n个模型的集成系统，并理论上证明推测性集成（SE）从不比标准集成更慢，通常可以实现更快的速度。广泛的实验表明，在不牺牲生成质量的情况下，与标准集成技术相比，SE可以实现1.11x-2.23x的速度提升。我们的代码可以在 https://github.com/Kamichanw/Speculative-Ensemble/ 获取。
arXiv:2502.01660v1 交叉公告类型
摘要：员工离职是指个人终止与当前组织的雇佣关系。这是企业面临的最持久的挑战之一，尤其是在信息技术（IT）行业中，该行业面临较高的离职率。有效的员工离职预测有助于多家利益相关方，包括企业及其在线招聘者。先前的研究主要集中在单一企业内的离职预测或不同企业间员工的汇总流动。跨多个企业预测个别员工的离职在文献中少有关注，因此仍是一个巨大的研究挑战。在本研究中，我们基于工作嵌入理论提出了一种新的深度学习方法，以预测不同企业范围内个别员工的离职情况。通过使用真实世界数据集进行广泛的实验评估，我们开发的方法在多项最新基准方法上表现出优越的性能。此外，我们估计了使用我们的离职预测解决方案为招聘者节省的成本，并解释了各种驱动力因素对员工离职的贡献，以展示其实用的商业价值。