**目的：** 对于淋巴瘤患者，自动量化PET扫描的纵向变化一直是一个挑战，因为中期治疗扫描中的残留疾病通常很细微，难以检测。我们的目标是开发一个纵向感知分割网络（LAS-Net），可以量化儿童霍奇金淋巴瘤患者的系列PET/CT图像。**材料与方法：** 这项回顾性研究包括来自两个儿童肿瘤学组临床试验（AHOD1331和AHOD0831）中297名患者的基线（PET1）和中期（PET2）PET/CT图像。LAS-Net整合了纵向交叉注意力机制，允许PET1中的相关特征为PET2的分析提供信息。使用Dice系数评估PET1的模型性能，使用检测F1分数评估PET2的模型性能。此外，我们提取并比较了定量PET指标，包括PET1中的代谢肿瘤体积（MTV）和总病灶糖酵解（TLG），以及PET2中的qPET和ΔSUVmax，并与医生测量结果进行比较。我们使用斯皮尔曼ρ相关系数量化了它们的一致性，并使用自举重采样进行统计分析。**结果：** LAS-Net以0.606的F1分数（精确度/召回率：0.615/0.600）检测到PET2中的残留淋巴瘤，优于所有比较方法（P<0.01）。对于基线分割，LAS-Net的平均Dice分数为0.772。在PET量化方面，LAS-Net对qPET、ΔSUVmax、MTV和TLG的测量结果与医生的测量结果高度相关，斯皮尔曼ρ分别为0.78、0.80、0.93和0.96。在外部测试队列中，性能保持较高水平，略有下降。**结论：** LAS-Net在量化跨系列扫描的PET指标方面取得了显著改进，突出了纵向感知在评估多时间点成像数据集中的价值。
在多智能体强化学习 (MARL) 和博弈论中，智能体反复交互并根据新数据的到来修正其策略，从而产生一系列策略组合。本文研究了满足成对约束的策略序列，该约束受强化学习中策略更新的启发，其中在某个时期内最佳响应的智能体不会在下一时期改变其策略。该约束仅仅要求优化智能体不改变策略，但不会以任何方式约束非优化智能体，因此允许探索。具有此属性的序列称为满足路径，在许多 MARL 算法中自然产生。关于战略动态的一个基本问题是：对于给定的博弈和初始策略组合，是否总是可以构造一条终止于均衡的满足路径？这个问题的解决对一类 MARL 算法的能力或局限性具有影响。我们针对范式博弈肯定地回答了这个问题。我们的分析揭示了一个反直觉的见解，即奖励恶化的策略更新是推动博弈沿着满足路径走向均衡的关键。
如今的视频会议工具支持广泛的专业和社交活动，但其通用的会议环境无法动态调整以满足分布式协作者的需求。为了实现最终用户的自定义，我们开发了 BlendScape，这是一个用于视频会议参与者的渲染和合成系统，通过利用人工智能图像生成技术，他们可以根据会议环境定制环境。BlendScape 通过将用户的物理或数字背景混合到统一的环境中，支持任务空间的灵活表示，并实施多模式交互技术来引导生成。通过一项对 15 位最终用户的探索性研究，我们调查了他们是否以及如何发现使用生成式人工智能来定制视频会议环境的价值。参与者设想将来使用像 BlendScape 这样的系统来促进协作活动，但需要进一步的控制来减少令人分心或不切实际的视觉元素。我们实施了场景来展示 BlendScape 在支持先前工作中的环境设计策略方面的表现力，并提出了提高环境质量的合成技术。
键值 (KV) 缓存已成为加速大型语言模型 (LLM) 推理生成速度的实际方法。然而，随着序列长度的增加，不断增长的缓存需求已将 LLM 推理转变为内存绑定问题，极大地限制了系统吞吐量。现有的方法依赖于丢弃不重要的标记或对所有条目进行统一量化。然而，此类方法通常会产生较高的近似误差来表示压缩矩阵。自回归解码过程进一步加剧了每一步的误差，导致模型生成出现严重偏差，性能下降。为了应对这一挑战，我们提出了 GEAR，这是一个高效的 KV 缓存压缩框架，可以实现接近无损的高比率压缩。GEAR 首先将量化应用于大多数具有相似量级的条目，以实现超低精度。然后，它使用低秩矩阵来近似量化误差，并使用稀疏矩阵来弥补来自异常条目的个体误差。通过巧妙地整合三种技术，GEAR 能够充分利用其协同潜力。我们的实验表明，与其他方法相比，GEAR 实现了接近无损的 4 位 KV 缓存压缩，吞吐量提高了高达 2.38 倍，同时将峰值内存大小降低了高达 2.29 倍。我们的代码已在 https://github.com/HaoKang-Timmy/GEAR 上公开发布。
我们将主动学习推广到现实世界环境中，在这些环境中，预测目标是具体的，采样仅限于域的易访问区域，而预测目标可能位于该区域之外。我们分析了一系列决策规则，这些规则自适应地采样以最大程度地减少对预测目标的不确定性。我们是第一个在一般规律性假设下表明，这种决策规则会一致地收敛到从可访问数据中获得的最小可能不确定性。我们在两个关键应用中证明了它们强大的样本效率：大型神经网络的主动少样本微调和安全的贝叶斯优化，在这些应用中，它们明显优于最先进的技术。
监测像杜松这样的长寿大型灌木的分布和大小对于评估全球变化对高山生态系统的长期影响至关重要。虽然深度学习模型在目标分割方面取得了显著成功，但将这些模型应用于检测具有多态性的灌木物种仍然具有挑战性。在这项研究中，我们发布了一个大型数据集，其中包含在免费获取的卫星图像上对单个灌木进行的描绘，并使用实例分割模型绘制了整个生物圈保护区（西班牙塞拉内华达山脉）树线以上的全部杜松。为了优化性能，我们引入了一种新颖的双数据构建方法：使用光学解释 (PI) 数据进行模型开发，使用野外 (FW) 数据进行验证。为了在模型评估期间考虑杜松的多态性，我们开发了交并比度量的软版本。最后，我们根据冠层覆盖率和每个尺寸类别灌木密度评估了所得地图的不确定性。我们的模型在 PI 数据上的灌木描绘 F1 分数为 87.87%，在 FW 数据上的 F1 分数为 76.86%。观察值与预测值之间关系的 R2 和 RMSE 分别为冠层覆盖率的 0.63 和 6.67%，灌木密度的 0.90 和 20.62。模型输出中观察到的较低海拔地区较大灌木密度较高，较高海拔地区较小灌木密度较高，这种现象也存在于 PI 和 FW 数据中，表明该物种最佳性能的海拔抬升。这项研究表明，将深度学习应用于免费获取的高分辨率卫星图像对于在区域尺度上检测具有较高生态价值的中大型灌木非常有用，该方法可以扩展到世界其他高山以及历史和未来的图像。
人工智能模型的不透明性要求在将其集成到服务之前进行验证和评估。为了研究这些模型，可解释人工智能 (XAI) 采用了一些方法来阐明输入特征和输出预测之间的关系。XAI 的操作超越了单个算法的执行，涉及一系列活动，包括预处理数据、调整 XAI 以与模型参数保持一致、调用模型以生成预测以及总结 XAI 结果。对抗性攻击是众所周知的威胁，旨在误导人工智能模型。由于各种组合，当开源人工智能模型受到对抗性攻击时，评估复杂性，尤其是对于 XAI，会增加。为了自动化 XAI 基于评估中涉及的众多实体和任务，我们提出了一种基于云的服务框架，该框架将计算组件封装为微服务，并将评估任务组织成管道。当前的 XAI 工具本质上不是面向服务的。该框架还将开放的 XAI 工具库集成到管道组合中。我们展示了 XAI 服务在评估人工智能模型的五个质量属性方面的应用：（1）计算成本，（2）性能，（3）鲁棒性，（4）解释偏差，以及（5）跨计算机视觉和表格案例的解释弹性。服务框架生成汇总分析，展示了超过一百种组合场景的质量属性。
在上下文学习中，大型语言模型（LLM）在许多自然语言处理任务中取代了传统方法，尤其是在小样本场景下。尽管应用广泛，但上下文学习容易受到恶意攻击。在这项工作中，我们提出了关于这种范式的安全问题。我们的研究表明，攻击者可以通过污染演示上下文来操纵大型语言模型的行为，而无需对模型进行微调。具体来说，我们设计了一种新的后门攻击方法，名为 ICLAttack，针对基于上下文学习的大型语言模型。我们的方法包括两种类型的攻击：污染演示示例和污染演示提示，这可以使模型的行为与预定义的意图一致。ICLAttack 不需要额外的微调来植入后门，从而保留模型的通用性。此外，被污染的示例被正确标记，增强了我们攻击方法的自然隐蔽性。在几个语言模型（参数范围从 13 亿到 1800 亿）上的大量实验结果证明了我们攻击方法的有效性，例如在 OPT 模型上的三个数据集上，平均攻击成功率高达 95.0%。
我提出了一种统一框架，用于寻找人工神经网络中任何单个神经元的闭合形式解释。利用该框架，我展示了如何解释神经网络分类器，以揭示其决策边界中编码的概念的闭合形式表达式。与基于神经网络的回归相反，对于分类而言，即使神经网络本身基于可以写成闭合形式方程式的量进行分类，一般也不可能将神经网络表示为符号方程式的形式。解释框架基于将训练后的神经网络嵌入到编码相同概念的函数等价类中。我通过在等价类和由符号搜索空间定义的人类可读方程之间寻找交集来解释这些神经网络。该方法不仅限于分类器或完整的神经网络，可以应用于隐藏层或潜在空间中的任意神经元。
构建能够在任何环境中、使用任何物体、运用多种技能完成各种任务的通用机器人一直是人工智能领域的一个长期目标。然而，作为研究群体，我们一直在通过为特定任务设计机器人系统、在特定数据集上训练它们，以及在特定环境中部署它们来限制大多数机器人系统。这些系统需要大量标注数据和特定任务的模型。当部署在现实世界场景中时，这些系统面临着许多泛化问题，并且难以保持对分布变化的鲁棒性。受 NLP 和 CV 等研究领域中网络规模、大容量预训练模型（即基础模型）在开放集性能和内容生成能力方面令人印象深刻的启发，我们致力于探索 (i) 如何将这些来自 NLP 和 CV 的现有基础模型应用于通用机器人领域，以及探索 (ii) 机器人专用基础模型将是什么样子。我们首先提供基础模型在机器人中使用方式的通用公式，以及使通用机器人普遍适用的基本障碍。接下来，我们建立了一个分类法来讨论当前探索利用现有基础模型进行机器人研究并开发针对机器人的基础模型的方式。最后，我们讨论了使用基础模型来实现通用机器人系统的关键挑战和有希望的未来方向。我们鼓励读者查看我们资源的动态 GitHub 库 2，包括本综述中回顾的论文，以及开发用于机器人的基础模型的相关项目和库。