大型电商平台，例如亚马逊和阿里巴巴，在社会中越来越普遍，帮助顾客方便地购买商品。随着自然语言处理的最新进展，研究人员和实践者将他们的重点从传统的商品搜索转向对话式商品搜索。对话式商品搜索能够实现用户与机器的对话，并通过对话收集明确的用户反馈，从而主动澄清用户的商品偏好。因此，对通过对话实现智能购物助理的研究是必不可少的。现有的关于对话式商品搜索的出版物要么独立于用户、查询和商品对对话进行建模，要么导致词汇错配。在这项工作中，我们提出了一种新的对话式商品搜索模型ConvPS，以帮助用户找到理想的商品。该模型首先通过统一的生成框架联合学习用户、查询、商品和对话的语义表示。学习这些表示后，它们被集成到潜在语义空间中以检索目标商品。同时，我们提出了一套贪婪和探索-利用策略来学习向用户提出一系列高性能的对话问题。我们提出的ConvPS模型能够自然地将用户、查询、商品和对话的表示学习集成到一个统一的生成框架中，这为构建准确、鲁棒、灵活和自适应的对话式商品搜索系统提供了一条有前景的途径。实验结果表明，我们的ConvPS模型显著优于最先进的基线模型。
代谢组学中的一个主要挑战是注释：将分子结构分配给质谱裂解模式。尽管分子到光谱和光谱到分子指纹预测 (FP) 近期取得进展，但注释率仍然很低。本文介绍了一种新的注释范式 (JESTR)。与先前明确构建分子指纹或光谱的方法不同，JESTR 利用了分子及其相应光谱是同一数据的不同视图这一见解，并有效地将其表示嵌入到一个联合空间中。候选结构的排名基于查询光谱与每个候选物的嵌入之间的余弦相似度。我们在三个数据集上将 JESTR 与 mol-to-spec 和 spec-to-FP 注释工具进行了比较。平均而言，对于 rank@[1-5]，JESTR 的性能优于其他工具 23.6%-71.6%。我们进一步证明了在训练过程中使用候选分子进行正则化的强大价值，将 rank@1 的性能提高了 11.4%，并增强了模型区分目标分子和候选分子的能力。通过 JESTR，我们提供了一条通往精确注释的新途径，从而揭示了代谢组学中的宝贵见解。
本文探讨了人工智能和自然语言处理在银行营销中日益增长的影响，重点阐述了它们在改进营销策略、提升客户参与度以及为银行业创造价值方面的作用演变。虽然人工智能和自然语言处理在一般营销领域已被广泛研究，但在理解其在银行业中的具体应用和潜力方面存在显著差距。本研究通过对人工智能和自然语言处理在银行营销中的应用进行系统的回顾和战略分析，重点关注其在整个客户旅程和卓越运营中的整合，从而解决了这一特定差距。本研究采用PRISMA方法，系统地回顾现有文献，以评估人工智能和自然语言处理在银行营销中的现状。此外，它还使用Sentence Transformers和UMAP进行语义映射，以进行战略差距分析，从而识别未充分探索的领域和未来研究的机会。系统回顾显示，专门针对自然语言处理在银行营销中的应用的研究有限。战略差距分析确定了自然语言处理可以进一步增强营销策略的关键领域，包括以客户为中心的应用，如客户获取、客户留存和个性化参与，为学术研究和实践应用提供了宝贵的见解。本研究通过绘制人工智能和自然语言处理应用的现状图并识别战略差距，为银行营销领域做出了贡献。研究结果为开发基于自然语言处理的增长和创新框架提供了可行的见解，并突出了自然语言处理在提高运营效率和合规性方面的作用。这项工作对增强银行行业的客户体验、盈利能力和创新具有更广泛的影响。
人工智能（AI）已成为现代医疗保健不可或缺的一部分，大型语言模型（LLM）为临床决策带来了令人鼓舞的进步。传统的基于模型的方法，包括利用上下文演示和专门的医学微调方法，在医学语言处理方面已展现出强大的性能，但它们在实时适应性、多步骤推理和处理复杂医疗任务方面存在困难。基于Agent的AI系统通过整合推理轨迹、基于上下文的工具选择、知识检索以及短期和长期记忆来解决这些局限性。这些附加功能使医疗AI Agent能够处理复杂的医疗场景，其中决策应建立在与环境的实时交互之上。因此，与将医疗查询视为孤立问题的传统基于模型的方法不同，医疗AI Agent将它们视为复杂的任务，其行为更像人类医生。本文研究了医疗AI Agent中骨干LLM的选择，这是Agent整体推理和动作生成的基石。特别是，我们考虑了新兴的o1模型，并研究了其对Agent的推理、工具使用适应性和跨不同临床场景（包括重症监护室（ICU）等高风险环境）的实时信息检索的影响。我们的研究结果表明，o1能够提高诊断准确性和一致性，为更智能、更灵敏的AI工具铺平了道路，从而支持更好的患者预后和临床实践中的决策效率。
结构化数据，例如表格、图和数据库，在许多自然语言处理任务（如问答和对话系统）中发挥着至关重要的作用。最近，受视觉语言模型的启发，图神经网络 (GNN) 作为一种附加模态被引入大型语言模型 (LLM) 的输入中，以提高其在结构化知识接地 (SKG) 任务上的性能。然而，这些增强型 GNN 的 LLM 存在以下局限性：(1) 它们采用不同的 GNN 来模拟不同类型的结构化数据，使其无法统一处理各种形式的结构化数据。(2) GNN 的预训练与特定的 LLM 耦合，这阻止了 GNN 与文本空间完全对齐，并限制了其对其他 LLM 的适应性。为了解决这些问题，我们提出了**大型语言和结构化数据助手 (LLaSA)**，这是一个增强 LLM 处理结构化数据能力的通用框架。具体来说，我们将各种类型的结构化数据表示为统一的超图格式，并使用自监督学习来预训练超图编码器，以及使用交叉注意力压缩编码超图表示的 G-Former。在 LLM 的训练和推理阶段，压缩的超图表示被附加到序列化输入中。在多个 SKG 任务上的实验结果表明，我们预训练的超图编码器可以适应各种 LLM，并增强其处理不同类型结构化数据的能力。此外，使用 LoRA 微调的 LLaSA，优于使用全参数微调的先前最先进的方法。
对话推荐系统 (CRSs)旨在通过动态捕捉用户在交互式对话中的偏好来提供个性化推荐。传统的 CRS 通常将用户偏好提取为隐藏表示，这因其缺乏可解释性而受到批评，降低了推荐过程的透明度和可信度。最近的研究探索了将大型语言模型 (LLMs) 的强大功能与知识图谱 (KGs) 的领域特定知识相结合，以生成人类可理解的推荐解释。尽管做出了这些努力，但由于非结构化对话和结构化 KGs 之间的模态差距，将 LLMs 和 KGs 集成到 CRSs 中仍然具有挑战性。此外，在大规模语料库上预训练的 LLMs 可能并不适合分析需要领域特定知识的用户偏好。在本文中，我们提出了一种即插即用的框架 COMPASS，它将 LLMs 和 KGs 协同作用以揭示用户偏好，从而提高现有 CRSs 的性能和可解释性。为了解决集成挑战，COMPASS 采用了两阶段训练方法：首先，它通过一种创新的图实体标题预训练机制来弥合结构化 KG 和自然语言之间的差距。这使得 LLM 能够将 KG 实体转换为简洁的自然语言描述，从而使其能够理解领域特定知识。接下来，COMPASS 通过知识感知指令微调优化用户偏好建模，其中 LLM 学习从对话历史和 KG 增强的上下文中推理和总结用户偏好。这使得 COMPASS 能够执行知识感知推理，并生成全面且可解释的用户偏好，这些偏好可以无缝集成到现有的 CRS 模型中，以提高推荐性能和可解释性。
大型语言模型 (LLM) 在多个行业中的广泛应用导致了对 GPU 的巨大需求激增。训练 LLM 需要数万个 GPU，并将它们安置在同一个数据中心 (DC) 变得越来越具有挑战性。我们专注于通过广域网 (WAN) 连接的多个 DC 跨多个 DC 训练此类模型。我们构建了 ATLAS，它使用新颖的时间带宽共享和许多其他设计选择来加快这种训练时间。虽然 ATLAS 提高了训练时间，但它并没有消除空闲周期（空闲 GPU 周期）。我们构建了 BUBBLETEA，它在空闲周期中运行预填充即服务（LM 推理的一部分），从而在不影响训练的情况下大幅提高了 GPU 利用率。ATLAS 和 BUBBLETEA 共同将训练时间缩短了高达 17 倍，并将 GPU 利用率提高到了 94%。
以患者为中心的疾病研究日益重要，它能够缩小研究与患者护理之间的差距，然而将患者的观点纳入健康研究一直不够一致。我们提出了一种自动化框架，该框架利用创新的自然语言处理 (NLP) 和人工智能 (AI) 技术结合患者门户信息，生成优先考虑重要患者问题的研究课题。我们进一步量化了 AI 生成的研究课题的质量。为了确定患者的临床关注点，我们分析了来自一家大型学术医院（2013 年至 2024 年）的 25549 名乳腺癌或皮肤癌患者的 614464 条患者信息，构建了一个两阶段的无监督 NLP 主题模型。然后，我们使用广泛使用的 AI（ChatGPT-4o，OpenAI Inc，2024 年 4 月版本）和提示工程策略，生成解决已定义问题的研究课题。我们指导 AI 执行多级任务：1）知识解释和总结（例如，解释和总结 NLP 定义的主题）；2）知识生成（例如，生成与患者问题相对应的研究想法）；3）自我反思和修正（例如，在搜索科学文章后确保和修改研究想法）；4）自我肯定（例如，确认和最终确定研究想法）。六位经验丰富的乳腺肿瘤学家和皮肤科医生使用 5 分李克特量表（1 分为优秀，5 分为差）评估了 AI 生成的研究课题的重要性及新颖性。当两个分数都低于平均分时，三分之一的 AI 建议的研究课题具有高度重要性和新颖性。在两种癌症中，三分之二的 AI 建议的课题都是新颖的。我们的研究结果表明，通过大量患者信息反映患者观点的 AI 生成的研究课题，可以有效地指导未来以患者为中心的健康研究方向。
深度学习模型容易受到后门攻击，攻击者在训练过程中注入恶意功能，该功能在推理时会在触发输入上激活。大量研究集中在开发隐蔽的后门攻击以规避检测和防御机制。然而，这些方法仍然存在局限性，由于其固有的在触发存在时引起恶意行为的设计，使得检测和缓解仍然存在可能。为了解决这一局限性，我们引入了延迟后门功能激活（DBFA），这是一种新的后门攻击范式。与传统攻击不同，DBFA 最初会隐藏其后门，即使被触发也能产生良性输出。这种隐蔽的行为允许 DBFA 绕过多种检测和防御方法，在初始检查期间保持未被检测到。后门功能仅在模型经过后续更新（例如在良性数据上重新训练）后才被战略性地激活。DBFA 攻击利用机器学习模型生命周期中常见的做法，即在初始部署后执行模型更新和微调。为了实施 DBFA 攻击，我们通过使后门的遗忘变得脆弱来解决这个问题，使其易于取消并随后重新激活后门功能。为此，我们提出了一种新颖的两阶段训练方案，称为 DeferBad。我们在各种微调场景、后门攻击类型、数据集和模型架构上的大量实验证明了 DeferBad 的有效性和隐蔽性。
随着物联网 (IoT) 设备的激增，确保其安全性已变得至关重要。设备识别 (DI)，它根据物联网设备的流量模式对其进行区分，在区分设备和识别易受攻击的设备方面发挥着至关重要的作用，从而弥补了严重的安全性漏洞。然而，现有的构建机器学习模型的 DI 方法往往忽略了模型在不同网络环境下的泛化能力这一挑战。在本研究中，我们提出了一种新颖的框架来解决这一限制，并评估 DI 模型在不同网络环境中收集的数据集上的泛化能力。我们的方法包括两个步骤：首先，我们使用带有外部反馈和来自不同环境的数据集的遗传算法来改进选择，从而开发出对泛化问题更稳健的特征和模型选择方法。其次，将生成的 DI 模型在进一步的独立数据集上进行测试，以稳健地评估其泛化能力。我们通过将我们的方法与替代方法进行经验比较来证明其有效性，并重点说明了诸如滑动窗口和流量统计等常用技术的根本局限性如何限制它们的泛化能力。我们的研究成果推动了物联网安全和设备识别领域的研究，为提高模型有效性和降低物联网网络风险提供了见解。