一种提高网络可解释性的方法是通过聚类性，即把模型分成可以独立研究的不相交的集群。我们发现预训练模型高度不可聚类，因此使用“交织损失”函数训练模型，使其更模块化，该函数鼓励形成非交互集群。使用自动可解释性度量，我们表明我们的方法找到了为 CIFAR-10 标签学习不同、不相交且更小电路的集群。我们的方法为使神经网络更容易解释提供了有希望的方向。
基于脑电图的情绪识别因其准确性和客观性而获得了广泛关注。然而，脑电信号的非平稳性会导致随时间推移的分布漂移，当模型被重复使用时，会导致严重的性能下降。近年来，虽然已经提出了许多领域自适应 (DA) 方法来解决这个问题，但它们对大量目标数据进行校准的依赖性将它们限制在离线场景中，使其不适合实时应用。为了应对这一挑战，本文提出了可进化快速自适应 (EvoFA)，一个专门针对脑电数据的在线自适应框架。EvoFA 通过两阶段泛化过程，有机地整合了少样本学习 (FSL) 的快速适应和领域自适应 (DA) 的分布匹配。在训练阶段，构建了一个强大的基础元学习模型以实现强大的泛化。在测试阶段，一个设计的可进化元适应模块在模型无关的元学习框架内迭代地将目标（测试）数据的边缘分布与不断变化的源（训练）数据对齐，使模型能够学习测试数据相对于训练数据的演变趋势，从而提高在线测试性能。实验结果表明，与基本的 FSL 方法和之前的在线方法相比，EvoFA 取得了显著的改进。EvoFA 的引入为脑电图情绪识别在现实世界应用中的更广泛应用铺平了道路。我们的代码将在出版后发布。
自回归世界模型在矢量化场景理解方面展现出强大的泛化能力，但在推断行动时却遇到了困难，因为其缺乏对不确定性的建模，并存在自我欺骗的现象。本文探讨了从自回归世界模型中推断决策的可行性，通过构建多个概率假设来解决这些挑战。我们提出了 LatentDriver，这是一个框架，它将环境的下一个状态和自我车辆的可能行动建模为混合分布，然后从中推导出确定性的控制信号。通过引入混合建模，决策过程的随机性得到了体现。此外，通过向世界模型提供从分布中采样的中间行动，缓解了自我欺骗问题。在最近发布的闭环基准 Waymax 上的实验结果表明，LatentDriver 超越了最先进的强化学习和模仿学习方法，实现了专家级性能。代码和模型将在 https://github.com/Sephirex-X/LatentDriver 上公开发布。
序列学习涉及按顺序学习任务，这对大多数神经网络来说是一个挑战。生物神经网络经常克服序列学习挑战，甚至能够在任务之间进行前向和后向知识转移。人工神经网络通常完全无法在任务之间转移性能，并且经常在先前任务上出现性能下降或灾难性遗忘。由于其生物联系和灵感，联想记忆模型已被用来研究生物神经网络和人工神经网络之间的差异，其中 Hopfield 网络可能是研究最多的模型。密集联想记忆或现代 Hopfield 网络是对 Hopfield 网络的推广，允许更大的容量和原型学习行为，同时仍然保留联想记忆结构。我们研究了密集联想记忆在序列学习问题中的性能，并在网络中对各种序列学习技术进行了基准测试。我们对序列学习空间进行了大量回顾，特别关注 Hopfield 网络和联想记忆，并详细描述了我们实施的技术。我们还将经典联想记忆和密集联想记忆在序列学习背景下进行了比较，并讨论了可能影响密集联想记忆作为研究生物神经网络工具的效用的生物灵感上的偏差。我们展示了我们的发现，并表明现有的序列学习方法可以应用于密集联想记忆以提高序列学习性能。
移动应用市场呈指数级增长，突显了持续创新和快速响应用户需求的重要性。由于用户满意度是移动应用程序 (app) 成功与否的关键，开发人员通常依靠用户评论来识别改进领域，这些评论代表了用户反馈，包括评分和评论。然而，海量的用户评论给手动分析带来了挑战，因此需要自动化方法。现有的自动化方法要么只分析目标应用程序的评论，而忽略了与竞争对手的类似功能的比较，要么无法提供功能增强建议。为了解决这些问题，我们提出了一种基于大型语言模型 (LLM) 的竞争用户评论分析以进行功能增强 (LLM-Cure) 的方法，该方法由 LLM 提供支持，以自动生成移动应用程序功能改进建议。更具体地说，LLM-Cure 通过应用 LLM 识别和分类评论中的功能。当用户评论中出现投诉时，LLM-Cure 会整理与投诉相关的竞争应用程序中评价较高的 (4 星和 5 星) 评论，并针对目标应用程序提出潜在的改进建议。我们在 70 个流行的 Android 应用程序的 1,056,739 条评论上评估了 LLM-Cure。我们的评估表明，LLM-Cure 在将功能分配给评论方面明显优于最先进的方法，F1 分数提高了 13%，召回率提高了 16%，准确率提高了 11%。此外，LLM-Cure 展示了其提供解决用户投诉建议的能力。我们使用反映目标移动应用程序功能变化的版本说明来验证这些建议。LLM-Cure 在提供的建议实施方面取得了 73% 的平均实现率，结果令人鼓舞。
数据稀缺性阻碍了深度学习在工业表面缺陷分类 (SDC) 中的应用，因为由于隐私问题，很难从工业物联网 (IIoT) 中的各个实体收集和集中足够的训练数据。联邦学习 (FL) 通过允许在客户端之间协作训练全局模型，同时保持隐私，提供了一种解决方案。然而，由于数据异质性——客户端之间数据分布的差异，性能可能会受到影响。在本文中，我们针对 SDC 中不同客户端之间数据异质性的挑战，提出了一种名为对抗性联邦共识学习 (AFedCL) 的新型个性化联邦学习 (PFL) 方法。首先，我们开发了一种动态共识构建策略，以减轻数据异质性造成的性能下降。通过对抗性训练，来自不同客户端的本地模型利用全局模型作为桥梁来实现分布对齐，从而缓解全局知识遗忘问题。作为对该策略的补充，我们提出了一种共识感知聚合机制。它根据不同客户端在全局知识学习中的有效性为它们分配聚合权重，从而增强全局模型的泛化能力。最后，我们设计了一个自适应特征融合模块，以进一步提高全局知识利用效率。针对每个客户端，个性化融合权重会逐渐调整，以最佳地平衡全局和局部特征，从而适应其各自的全局知识学习有效性。与 FedALA 等最先进的 FL 方法相比，所提出的 AFedCL 方法在三个 SDC 数据集上实现了高达 5.67% 的准确率提升。
双足行走控制对于人形机器人导航复杂的人类中心环境至关重要。虽然基于优化的控制设计在整合人形机器人的复杂模型方面很受欢迎，但它们通常需要费力的手动调优。在这项工作中，我们使用 DiffTune 解决了双足行走控制中参数选择带来的挑战，DiffTune 是一种基于模型的自动调优方法，利用微分编程进行高效的参数学习。一个主要困难在于平衡模型保真度和可微分性。我们使用低保真度模型来解决可微分性问题，并通过地面反作用力-力矩网络 (GRFM-Net) 来增强模型，以捕捉 MPC 命令与实际控制效果之间的差异。我们在硬件实验中验证了 DiffTune 与 GRFM-Net 共同学习的参数，结果表明，与基线参数相比，这些参数在多目标环境中具有最优性，与专家调优的参数相比，总损失降低了高达 40.5%。结果证实了 GRFM-Net 在减轻仿真到现实差距方面的有效性，提高了仿真学习参数到真实硬件的可迁移性。
在事件报告期间，情绪支持是社区成员与警察调度员之间沟通的关键方面。然而，对于如何通过基于文本的系统提供情绪支持，尤其是在各种非紧急情况下，人们缺乏了解。在这项研究中，我们分析了两年的聊天记录，包括来自 130 家高等教育机构的 8,239 起事件中的 57,114 条消息。我们的实证研究发现，调度员提供的情绪支持存在显著差异，受事件类型、服务时间的影响，并且在多个组织中随着时间的推移，支持明显下降。为了提高情绪支持的一致性和质量，我们开发并实施了一个名为 dispatcherLLM 的微调大型语言模型 (LLM)。我们通过将 dispatcherLLM 生成的回复与人类调度员和其他现成模型使用真实聊天消息生成的回复进行比较来评估 dispatcherLLM。此外，我们进行了人工评估，以评估 dispatcherLLM 提供的支持的感知有效性。这项研究不仅为基于文本的调度系统中的情绪支持提供了新的实证理解，而且还证明了生成式人工智能在改善服务交付方面的巨大潜力。
理解和解读基因序列中编码的复杂信息，一直是生物学研究和临床应用的重大挑战。在此背景下，大型语言模型研究的最新进展，已经促使人们开发了编码器专用和解码器专用的基础模型，旨在解码DNA序列中的复杂信息。然而，仍存在一些问题，特别是在有效管理基因序列中固有的长程依赖性，有效表示核苷酸变异，以及大型模型架构和广泛的预训练数据集带来的巨大计算成本方面。当前的基因组基础模型往往面临一个关键的权衡：较小的模型性能平庸，而较大的模型性能有所提高。为了应对这些挑战，我们引入了dnaGrinder，这是一种独特且高效的基因组基础模型。dnaGrinder在管理基因序列中的长程依赖性方面表现出色，同时最大限度地降低计算成本，而不会影响性能。它取得的结果不仅与领先的DNA模型（如核苷酸Transformer和DNABERT-2）相当，而且往往优于这些模型。此外，dnaGrinder的设计易于在工作站级GPU上进行微调，能够容纳超过17,000个标记的输入长度。在一个单一的高性能GPU上，它支持超过140,000个标记的序列，使其成为基础生物研究和临床应用中高度高效且易于使用的工具。
语义通信（SemCom）在 6G 网络中发挥着至关重要的作用，为未来高效通信提供了一种可行的解决方案。基于深度学习（DL）的语义编解码器进一步提高了这种效率。然而，DL 模型对安全威胁（如对抗性攻击）的脆弱性对 SemCom 系统的实际应用提出了重大挑战。这些漏洞使攻击者能够篡改消息并窃听私人信息，尤其是在无线通信场景中。虽然现有的防御措施试图解决特定的威胁，但它们往往无法同时处理多种异构攻击。为了克服这一局限性，我们引入了一种新颖的基于混合专家（MoE）的 SemCom 系统。该系统包含一个门控网络和多个专家，每个专家专门负责不同的安全挑战。门控网络根据用户定义的安全要求自适应地选择合适的专家来对抗异构攻击。多个专家协同工作以完成语义通信任务，同时满足用户的安全要求。车辆网络的案例研究证明了基于 MoE 的 SemCom 系统的有效性。仿真结果表明，所提出的基于 MoE 的 SemCom 系统有效地缓解了并发异构攻击，对下游任务精度影响最小。