在状态监测中，检测异常或关键系统状态至关重要。虽然人们非常关注及时识别异常，但对这些异常进行回顾性分析可以显著增强我们对观察到的不良行为的根本原因的理解。当受监控系统部署在重要环境中时，这一点尤其重要。在本研究中，我们深入研究了用于太空探索的生物再生生命支持系统 (BLSS) 领域的异常现象，并分析了来自南极洲 EDEN ISS 太空温室的遥测数据中发现的异常现象。我们对异常检测结果进行时间序列聚类，以对单变量和多变量设置中的各种异常类型进行分类。然后，我们评估了这些方法在识别系统异常行为方面的有效性。此外，我们说明了异常检测方法 MDI 和 DAMP 生成了互补的结果，正如之前研究表明的那样。
扩散模型因其在各种应用中的出色生成能力而引起了社区的广泛关注。然而，其典型的多步顺序去噪性质导致了高累积延迟，从而排除了并行计算的可能性。为了解决这个问题，我们引入了 AsyncDiff，这是一种通用的即插即用加速方案，它能够在多个设备之间实现模型并行。我们的方法将繁重的噪声预测模型划分为多个组件，并将每个组件分配给不同的设备。为了打破这些组件之间的依赖链，它利用连续扩散步骤中隐藏状态的高度相似性，将传统的顺序去噪转换为异步过程。因此，每个组件都可以并行地在不同的设备上进行计算。所提出的策略显着减少了推理延迟，同时对生成质量的影响最小。具体来说，对于 Stable Diffusion v2.1，AsyncDiff 在四块 NVIDIA A5000 GPU 上实现了 2.7 倍的加速，性能几乎没有下降，以及 4.0 倍的加速，CLIP 分数仅下降了 0.38。我们的实验还表明，AsyncDiff 可以轻松应用于视频扩散模型，并取得令人鼓舞的性能。代码可在 https://github.com/czg1225/AsyncDiff 获取。
现有的提示微调方法在持续学习 (CL) 中表现出令人印象深刻的性能，方法是在视觉转换器模型中选择和更新相关提示。相反，本文旨在通过在先前任务特征所跨越的子空间的正交方向上微调提示来学习每个任务，从而确保对已学习的任务没有干扰，以克服 CL 中的灾难性遗忘。然而，与传统 CNN 架构中的正交投影不同，ViT 架构中的提示梯度正交投影呈现出完全不同的、更大的挑战，即：1) 高阶非线性自注意力操作；2) 变形器块中 LayerNorm 带来的提示分布漂移。从理论上讲，我们最终推导出两个一致性条件来实现提示梯度正交投影，这为通过视觉提示微调中的自注意力机制消除对先前学习知识的干扰提供了理论保证。在实践中，已经提出了一种有效的基于零空间的近似解来实现提示梯度正交投影。大量的实验结果证明了在四个具有不同预训练基线模型的类增量基准上，反遗忘的有效性，并且我们的方法比最先进的方法取得了更好的性能。我们的代码可在 https://github.com/zugexiaodui/VPTinNSforCL 上获取。
随着机器学习（ML）模型在社会领域中被越来越多地用于做出对人类有重大影响的决策，它们往往有能力重塑数据分布。人类作为战略性主体，不断调整自己的行为以应对学习系统。随着人口的动态变化，ML 系统可能需要频繁更新以确保高性能。然而，在社会领域中获取高质量的人工标注样本可能极具挑战，甚至不可行。解决此问题的一种常见做法是使用模型本身来标注未标注的数据样本。本文研究了当 ML 模型在包含人类战略性响应的情况下，使用模型标注的样本进行重新训练时的长期影响。我们首先将战略性主体与模型之间的交互形式化，然后分析它们在这种动态交互下的演变方式。我们发现，随着模型的重新训练，主体越来越有可能获得积极的决策，而具有积极标签的主体比例可能随着时间的推移而下降。因此，我们提出了一种改进的重新训练过程来稳定动态。最后，我们研究了算法公平性如何受到这些重新训练过程的影响，并发现，在每一轮都强制执行常见的公平性约束可能不会从长远来看有利于弱势群体。在（半）合成和真实数据上的实验验证了理论发现。
医疗保健领域存在两个基本问题：患者交接和分诊。医生经常需要进行复杂的发现总结，以方便与专家的有效沟通，并对每个病例的紧急程度做出决策。为了解决这些挑战，我们提出了一种最先进的放射学报告摘要模型，该模型利用调整后的双向编码器表示，来自转换器 BERTtoBERT 编码器-解码器架构。我们还提供了一个数据处理管道，用于在 MIMIC CXR 数据集上开发的未来模型。我们的方法包括一种用于增强医疗数据的新方法和全面的性能分析。我们表现最好的模型在摘要评估中取得了 58.75/100 的召回导向的 L F1 分数，优于具有更复杂注意力机制的专用检查点。我们还提供了一个数据处理管道，用于在 MIMIC 胸部 X 光数据集上开发的未来模型。本文介绍的模型在放射学报告摘要方面展示了显著改进的能力，突出了确保更好的临床工作流程和加强患者护理的潜力。
网络爬取是一种强大的技术，可以从网站中提取数据，实现自动化数据收集、增强数据分析能力，并最大限度地减少人工数据输入的工作量。现有的方法，基于包装器的方法在面对新网站时适应性和可扩展性有限，而由大型语言模型 (LLM) 赋能的语言代理在不同的网络环境中表现出较差的可重用性。在本工作中，我们介绍了使用 LLM 生成网络爬虫的范式，并提出了 AutoScraper，这是一种两阶段框架，可以更有效地处理各种变化的网络环境。AutoScraper 利用 HTML 的层次结构和不同网页之间的相似性来生成网络爬虫。此外，我们提出了一种新的可执行性指标，用于更好地衡量网络爬虫生成任务的性能。我们使用多个 LLM 进行了全面的实验，并证明了我们框架的有效性。本文的资源可以在 \url{https://github.com/EZ-hwh/AutoScraper} 找到。
由 Vaswani 等人（2017 年）提出的 Transformer 架构是语言模型发展取得显著进步的核心，包括广泛使用的聊天机器人，如 Chat-GPT 和 Claude。本文认为，我们可以从 Transformer 架构的工作方式中提取出关于上下文和意义之间关系的理论。我称之为 Transformer 理论，并认为它在两个相关的哲学争论中是新颖的：关于自然语言中上下文敏感程度的上下文主义争论，以及关于如何在一个词义解释中捕捉多义性的多义性争论。
近年来，人们越来越关注深度生成模型（DGM）与流形假设之间的相互作用。该领域的研究重点在于理解常用的 DGM 在学习支持未知低维流形的分布时成功或失败的原因，以及开发明确旨在处理流形支持数据的模型。这种流形视角不仅解释了为什么某些 DGM（例如扩散模型和一些生成对抗网络）在样本生成方面经验上优于其他 DGM（例如基于似然的模型，如变分自动编码器、归一化流或基于能量的模型），也为设计性能更高的 DGM 提供了指导。我们对从这种视角看待的 DGM 进行了首次调查，并在此过程中做出了两项新的贡献。首先，我们正式确定，当对具有低内在维度的模型进行建模时，高环境维度中似然的数值不稳定性是不可避免的。然后我们证明，在自动编码器的学习表示上进行的 DGM 可以被解释为近似最小化 Wasserstein 距离：这一结果适用于潜在扩散模型，有助于证明它们出色的经验结果。流形视角为理解 DGM 提供了一个丰富的视角，我们旨在使这种视角更容易获得和更广泛地传播。
烹饪机器人可以通过减轻日常琐事的负担来提升家庭体验。然而，这些机器人必须在与人类共处的环境中熟练且安全地执行任务，尤其是在使用厨房刀具等危险工具时。本研究侧重于使机器人能够自主安全地学习切菜任务。更具体地说，我们的目标是使协作机器人或工业机器人手臂能够通过顺应性控制适应不同的材料特性，从而执行切片任务。我们的方法包括使用强化学习 (RL) 来训练机器人顺应性地操控刀具，通过降低食物和砧板施加的接触力来实现。然而，在现实世界中训练机器人效率低下且存在危险，并且会导致大量食物浪费。因此，我们提出了 SliceIt!，一个在模拟中安全高效地学习机器人切菜任务的框架。遵循 real2sim2real 方法，我们的框架包括收集少量真实切菜数据，校准我们的双重模拟环境（一个高保真切菜模拟器和一个机器人模拟器），在校准的模拟环境中学习顺应性控制策略，最后将策略部署到真实机器人上。
机器遗忘（MU）近年来因其在去除训练过的机器学习（ML）模型中特定数据的影响，从而实现安全人工智能的潜力而备受关注。这种被称为知识移除的过程，解决了人工智能治理中训练数据质量、敏感性、版权限制和过时等问题。这种能力对于确保遵守隐私法规，例如“被遗忘权”（RTBF），也至关重要。此外，有效的知识移除可以减轻有害结果的风险，防止偏见、错误信息和未经授权的数据利用，从而增强人工智能系统的安全和负责任的使用。人们一直在努力设计高效的遗忘方法，并研究将 MU 服务与现有的机器学习即服务（MLaaS）集成，允许用户提交从训练语料库中移除特定数据的请求。然而，最近的研究强调了机器遗忘系统中的漏洞，例如信息泄露和恶意遗忘，这些漏洞会导致重大的安全和隐私问题。此外，大量研究表明，遗忘方法和普遍存在的攻击在 MU 系统中发挥着不同的作用。这突出了这些机制在维护系统功能和安全方面错综复杂的关系和复杂互动。本综述旨在弥合机器遗忘中威胁、攻击和防御研究数量众多与缺乏对它们的分类、方法和解决方案的全面综述之间的差距，从而为未来的研究方向和实际应用提供宝贵的见解。