我们研究了具有轨迹非线性偏好的多目标强化学习。也就是说，我们在多目标马尔可夫决策过程 (MOMDP) 中最大化累积奖励的非线性函数的期望值（预期标量化回报或 ESR）。我们推导出非线性优化的贝尔曼最优性扩展形式，该形式明确考虑了时间和当前累积奖励。利用这种公式，我们描述了一种近似算法，该算法可在伪多项式时间内为具有恒定数量奖励的平滑标量化函数计算近似最优非平稳策略。我们通过分析证明了近似值，并通过实验演示了该算法，表明通过我们的算法计算出的最优策略与替代基线之间可能存在很大差距。
机器学习 (ML) 和人工智能 (AI) 系统严重依赖人工标注数据进行训练和评估。在这种情况下，一个主要挑战是标注错误的出现，因为它们的影响会降低模型性能。本文提出了一种预测错误模型，该模型经过训练，可以检测三种工业规模的 ML 应用（音乐流媒体、视频流媒体和移动应用程序）中搜索相关性标注任务中的潜在错误。利用来自大型搜索相关性标注项目的真实世界数据，我们证明可以以适度的模型性能 (AUC=0.65-0.75) 预测错误，并且模型性能在不同应用之间具有良好的泛化性（即，全局、与任务无关的模型与特定任务模型的性能相当）。与以往的研究相比，以往的研究往往侧重于从特定任务特征预测标注标签，而我们的模型经过训练，可以直接从任务特征和从标注过程得出的行为特征的组合中预测错误，以实现高度的泛化性。我们在审计的背景下展示了该模型的实用性，其中优先处理预测错误概率高的任务会大大增加纠正的标注错误的数量（例如，音乐流媒体应用程序的效率提高 40%）。这些结果表明，行为错误检测模型可以显著提高数据标注过程的效率和质量。我们的发现揭示了数据标注过程中有效错误管理的关键见解，从而为更广泛的人机交互式 ML 领域做出贡献。
在各种商业和科学领域，在关系数据上服务深度学习 (DL) 模型已成为一项关键需求，近来引起了越来越多的兴趣。在这篇具有前瞻性的论文中，我们对代表性架构进行了全面探索，以满足这一需求。我们重点介绍了三种关键范式：最先进的以 DL 为中心的架构将 DL 计算卸载到专用的 DL 框架。潜在的以 UDF 为中心的架构将一个或多个张量计算封装到关系数据库管理系统 (RDBMS) 中的用户定义函数 (UDF) 中。潜在的关系为中心的架构旨在通过关系运算符来表示大规模张量计算。虽然这些架构中的每一种都展示了在特定使用场景中的潜力，但我们也发现了对这些架构无缝集成以及它们之间的中间地带的迫切需求。我们深入研究了阻碍集成的差距，并探索了创新的策略来弥合这些差距。我们提出了一条路径，以建立一个新的 RDBMS，以支持广泛的数据密集型 DL 推理应用程序。
概念瓶颈模型（CBM）通过构建和解释使用一组高级概念的预测来解决神经架构的不透明性。这些模型的一个特殊属性是它们允许概念干预，用户可以在其中纠正预测错误的概念，从而提高模型的性能。然而，最近的研究表明，干预效果可能高度依赖于干预概念的顺序以及模型的架构和训练超参数。我们认为，这是由于 CBM 缺乏训练时间激励，导致模型无法适当地接受概念干预。为了解决这个问题，我们提出了干预感知概念嵌入模型（IntCEM），这是一种新颖的基于 CBM 的架构和训练范式，它提高了模型对测试时干预的接受能力。我们的模型以端到端的方式学习概念干预策略，从中可以从训练时间采样有意义的干预轨迹。这使 IntCEM 能够在测试时有效地选择和接收概念干预。我们的实验表明，在提供测试时概念干预的情况下，IntCEM 在性能上显著优于最先进的概念可解释模型，证明了我们方法的有效性。
在多模态数据整合领域，特征对齐起着至关重要的作用。本文提出了一种创新的特征对齐方法，彻底改变了多模态信息的融合方式。我们的方法采用了一种新颖的迭代过程，即对不同模态的特征表示进行望远镜式位移和扩展，最终在共享特征空间内形成一个连贯的统一表示。这种复杂的技术展现出非凡的能力，能够在最高抽象级别捕获和利用复杂的多模态交互。因此，我们在多模态学习任务的性能方面观察到显著的提升。通过严格的对比分析，我们证明了我们的方法在各种应用中优于现有的多模态融合范式。在涵盖时间序列、视觉数据和文本信息的跨方面数据集上进行的全面实证评估提供了令人信服的证据，表明我们的方法在该领域取得了前所未有的基准。这项工作不仅推进了多模态学习的最新进展，而且为探索复杂分析场景中不同数据模态之间的协同作用开辟了新的途径。
本书旨在对贝叶斯矩阵分解的概念和数学工具进行自包含的介绍，以便在后续章节中无缝引入矩阵分解技术及其应用。然而，我们清楚地认识到我们无法涵盖所有关于贝叶斯矩阵分解的有用和有趣的结果，并且鉴于讨论范围的局限性，例如，对用于进行优化的变分推断的单独分析。我们建议读者参考贝叶斯分析领域的文献，以更详细地了解相关领域。
本书主要总结了重要贝叶斯矩阵分解方法的目的、意义，例如实值分解、非负矩阵分解、贝叶斯插值分解，以及这些方法的起源和复杂性，这些方法阐明了它们的应用。数学先决条件是统计学和线性代数的入门课程。除了这些基础之外，本书的论述是自包含的，并提供了完整的严格证明。
近年来，特别是基于机器学习 (ML) 的方法，扰动预测取得了快速进展。了解预测器做出特定预测的原因与预测的准确性一样重要，这对于未来的托卡马克扰动预测器至关重要。大多数扰动预测器的目的是准确性或跨机器能力。然而，如果扰动预测模型可以被解释，它可以说明为什么某些样本被分类为扰动前兆。这使我们能够识别即将发生的扰动类型，并让我们深入了解扰动的机制。本文在 J-TEXT 上设计了一种名为基于物理引导特征提取的可解释扰动预测器 (IDP-PGFE)。通过提取物理引导特征，有效地提高了模型的预测性能。高性能模型是确保解释结果有效性的必要条件。IDP-PGFE 的可解释性研究提供了对 J-TEXT 扰动的理解，并且与现有的对扰动的理解大体一致。IDP-PGFE 已应用于由于密度不断增加导致的 J-TEXT 上的密度极限实验。PGFE 特征贡献的时间演化表明，ECRH 的应用触发了辐射引起的扰动，从而降低了扰动时的密度。而 RMP 的应用确实提高了 J-TEXT 中的密度极限。可解释性研究指导了对密度极限扰动物理机制的直觉，即 RMP 不仅影响 MHD 不稳定性，还影响辐射分布，从而延迟了密度极限扰动。
从大规模图像-文本对中预训练视觉和文本表示正成为许多下游视觉-语言任务的标准方法。基于 Transformer 的模型通过一系列自监督学习任务学习跨模态和模态内注意力。本文提出了一种用于视觉和文本表示学习的新颖架构 LAViTeR。主要模块，视觉文本对齐 (VTA) 将由两个辅助任务辅助，即基于 GAN 的图像合成和图像字幕。我们还提出了一种新的评估指标，用于衡量学习到的视觉和文本嵌入之间的相似度。在两个公共数据集 CUB 和 MS-COCO 上的实验结果表明，在联合特征嵌入空间中视觉和文本表示对齐性能优越。
尽管经过了四十年的研究，我们最好的无监督学习表示方法与智能动物所达成的精度率之间仍存在约 20% 的分类精度差距。因此，我们可能在错误的方向上寻找答案。本文提出了一种可能的解决方案。我们证明了强化学习可以学习到与动物精度相同的表示。我们主要的贡献在于以下观察结果：a. 当应用于真实世界环境时，强化学习不需要标签，因此可以合法地被视为无监督学习；b. 相反，当强化学习应用于模拟环境时，它本质上需要标签，因此通常应被视为监督学习。这些观察结果的推论是，在模拟环境中进一步寻找可训练的无监督学习竞争范式可能是徒劳的。
生成式人工智能在解决各种设计挑战方面取得了显著进展。生成式人工智能可以为工程设计带来巨大价值的一个突出领域是机械系统的设计。特别是，选择一组最佳的组件及其接口，以创建满足设计要求的机械系统，是工程师面临的最具挑战性和最耗时的任务之一。这种配置设计任务本质上具有挑战性，因为它具有分类性质、解决方案必须满足的多个设计要求，以及对物理模拟的依赖来评估潜在解决方案。这些特点意味着需要解决一个包含黑盒函数的具有多个约束条件的组合优化问题。为了应对这一挑战，我们提出了一种深度生成模型，用于预测给定设计问题的最佳组件和接口组合。为了证明我们的方法，我们通过使用语法、零件目录和物理模拟器首先创建了一个合成数据集，从而解决了齿轮系合成问题。然后，我们使用该数据集训练了一个名为 GearFormer 的 Transformer，它不仅可以自行生成高质量的解决方案，还可以增强搜索方法，例如进化算法和蒙特卡洛树搜索。我们表明，GearFormer 在满足指定的设计要求方面，比单独使用这些搜索方法具有更快的生成时间，并且能够生成数量级更高的解决方案。此外，我们展示了利用 GearFormer 和搜索方法的混合方法的优势，这进一步提高了解决方案的质量。