知识编辑已成为更新大型语言模型 (LLM) 知识的有效方法，近年来在研究中引起了越来越多的关注。然而，缺乏有效的措施来防止这种技术的恶意滥用，这可能导致 LLM 中出现有害的编辑。这些恶意的修改有可能导致 LLM 生成有毒内容，误导用户采取不当行动。为了解决这个问题，我们引入了一项新任务，即 **知识编辑类型识别 (KETI)**，旨在识别 LLM 中的恶意编辑。作为这项任务的一部分，我们提出了 KETIBench，这是一个基准，包含五种类型的恶意更新和一种类型的良性更新。此外，我们开发了四种经典分类模型和三种基于 BERT 的模型，作为开源和闭源 LLM 的基线识别器。我们的实验结果涵盖了涉及两个模型和三种知识编辑方法的 42 次试验，表明所有七个基线识别器都实现了相当不错的识别性能，突出了识别 LLM 中恶意编辑的可行性。进一步的分析表明，识别器的性能与知识编辑方法的有效性无关，并表现出跨域泛化，能够识别来自未知来源的编辑。所有数据和代码均可在 https://github.com/xpq-tech/KETI 获得。警告：本文包含有毒文本示例。
大型语言模型近来被发现拥有类人的性格特征，这引发了这样的假设：它们（已知和尚未发现的）偏差符合人类潜意识的心理结构。虽然大型对话模型可能会被诱导回答心理测量问卷，但数千种用于其他任务的更简单的 transformers 的潜意识心理结构无法被评估，因为目前缺乏合适的心理测量方法。本文展示了如何将标准心理问卷改写成自然语言推理提示，并提供了一个代码库来支持对任意模型进行心理测量评估。我们使用 88 个公开模型样本证明了类人心理健康相关结构（包括焦虑、抑郁和一致感）的存在，这些结构符合人类心理学中的标准理论，并显示出类似的相关性和缓解策略。通过使用心理工具来解释和纠正语言模型的性能，可以促进开发更可解释、可控和可信的模型。
3D 场景可供性接地旨在定位 3D 环境中的交互区域，这对具身智能体与其周围环境进行智能交互至关重要。大多数现有方法通过基于静态几何结构和视觉外观将语义映射到 3D 实例来实现这一点。这种被动策略限制了智能体主动感知和参与环境的能力，使其依赖于预定义的语义指令。相比之下，人类通过观察和模仿他人如何与其周围环境互动来发展复杂的互动技能。为了赋予模型这种能力，我们引入了一项新任务：从自我中心交互中接地 3D 场景可供性，其目标是根据交互的自我中心视频识别 3D 场景中的相应可供性区域。该任务面临着空间复杂性和跨多个来源的对齐复杂性挑战。为了应对这些挑战，我们提出了基于自我中心交互的 3D 场景可供性接地 (Ego-SAG) 框架，该框架利用交互意图来引导模型关注与交互相关的子区域，并通过双向查询解码器机制对来自不同来源的可供性特征进行对齐。此外，我们引入了自我中心视频-3D 场景可供性数据集 (VSAD)，涵盖各种常见交互类型和不同的 3D 环境，以支持此任务。在 VSAD 上进行的大量实验验证了所提任务的可行性和我们方法的有效性。
对于自动驾驶赛车而言，精确的动态建模至关重要，特别是在高速和敏捷机动过程中，精确的运动预测对于安全至关重要。传统的参数估计方法面临着诸如依赖初始猜测、费力的拟合程序和复杂的测试设置等局限性。另一方面，纯粹的数据驱动机器学习方法难以捕捉固有的物理约束，通常需要大量数据集才能获得最佳性能。为了解决这些挑战，本文介绍了微调混合动力学 (FTHD) 方法，该方法集成了监督和无监督的物理信息神经网络 (PINN)，将基于物理的建模与数据驱动技术相结合。FTHD 使用较小的训练数据集对预训练的深度动力学模型 (DDM) 进行微调，与 Deep Pacejka 模型 (DPM) 等最先进方法相比，其性能更优，并优于原始 DDM。此外，扩展卡尔曼滤波器 (EKF) 嵌入到 FTHD (EKF-FTHD) 中，以有效地管理嘈杂的现实世界数据，确保精确的降噪，同时保留车辆的基本物理特性。所提出的 FTHD 框架通过使用 BayesRace 基于物理的模拟器进行的规模化模拟和来自 Indy 自动驾驶挑战赛的实际全尺寸实验进行了验证。结果表明，即使数据量减少，混合方法也能显著提高参数估计精度，并优于现有模型。EKF-FTHD 通过对现实世界数据进行降噪，同时保持物理见解，增强了鲁棒性，代表了用于高速自动驾驶赛车的车辆动力学建模的显著进步。
从过去的观测结果中精确预测亚秒级范围内的人类未来运动对于各种安全关键应用至关重要。迄今为止，只有一项研究考察了人类运动预测对规避攻击的脆弱性。在本文中，我们提出了 BadHMP，这是第一个专门针对人类运动预测的后门攻击。我们的方法包括通过在骨骼的一条手臂中嵌入局部后门触发器来生成中毒训练样本，导致选定的关节在历史时间步长中保持相对静止或遵循预定义的运动。随后，将未来序列全局修改为目标序列，并遍历整个训练数据集以选择最适合中毒的样本。我们精心设计的后门触发器和目标保证了中毒样本的平滑性和自然性，使其隐蔽到足以躲避模型训练者的检测，同时在对未污染序列的预测保真度方面保持中毒模型不显眼。即使在低中毒样本注入率的情况下，目标序列也可以通过设计输入序列成功激活。在两个数据集（Human3.6M 和 CMU-Mocap）和两个网络架构（LTD 和 HRI）上的实验结果证明了 BadHMP 的高保真度、有效性和隐蔽性。我们还验证了攻击对微调防御的鲁棒性。
剩余使用寿命（RUL）预测是预兆和健康管理（PHM）的关键方面，旨在预测系统的未来状态，以便及时维护并防止意外故障。虽然现有的深度学习方法已展现出潜力，但它们通常难以充分利用复杂系统中固有的空间信息，限制了它们在 RUL 预测中的有效性。为了应对这一挑战，最近的研究探索了使用图神经网络 (GNN) 来建模空间信息，以实现更准确的 RUL 预测。本文对应用于 RUL 预测的 GNN 技术进行了全面综述，总结了现有方法并为未来研究提供了指导。我们首先提出了一种基于将 GNN 适应 RUL 预测阶段的新颖分类法，将方法系统地分类为四个关键阶段：图构建、图建模、图信息处理和图读取。通过以这种方式组织该领域，我们突出了 GNN 管道每个阶段的独特挑战和注意事项。此外，我们对各种最先进 (SOTA) GNN 方法进行了全面评估，确保一致的实验设置以进行公平的比较。这种严格的分析得出了关于不同方法的优缺点的宝贵见解，为该领域的研究人员和从业人员提供了实验指南。最后，我们确定并讨论了几个可能进一步推动该领域发展的前瞻性研究方向，强调了 GNN 彻底改变 RUL 预测和提高 PHM 策略有效性的潜力。基准代码可在 GitHub 上获得：https://github.com/Frank-Wang-oss/GNN\_RUL\_Benchmarking。
近年来，文本到图像扩散模型的进步激发了人们对连续故事图像生成的极大兴趣。本文介绍了 Storynizor，这是一个能够生成连贯故事的模型，具有强烈的帧间角色一致性、有效的背景分离和多样化的姿势变化。Storynizor 的核心创新在于其关键模块：ID-Synchronizer 和 ID-Injector。ID-Synchronizer 采用自动掩码自注意力模块和跨帧图像的掩码感知损失，以提高角色生成的连贯性，生动地展现其姿势和背景。ID-Injector 利用洗牌参考策略 (SRS) 将 ID 特征集成到特定位置，增强基于 ID 的一致角色生成。此外，为了促进 Storynizor 的训练，我们精心策划了一个名为 StoryDB 的新数据集，其中包含 100,000 张图像。该数据集包含在不同环境、布局和手势中的人物单人和多人集，并附有详细描述。实验结果表明，与其他特定角色方法相比，Storynizor 在连贯故事生成方面表现出优异的性能，具有高保真角色一致性、灵活的姿势和生动的背景。
使用监督深度学习方法检测脑部 MRI 扫描中的异常存在挑战，因为解剖结构多样性以及像素级标注的劳动密集型要求。生成模型，如去噪扩散概率模型 (DDPM) 及其变体，如 pDDPM、mDDPM、cDDPM，最近已成为在脑部 MRI 扫描中执行无监督异常检测的强大替代方案。这些方法利用健康大脑的帧级标签来生成脑部 MRI 扫描中的健康组织。在推理过程中，当异常（或不健康）的扫描图像作为输入呈现时，这些模型会生成与输入异常扫描相对应的健康扫描图像，并且生成健康扫描图像与原始异常扫描图像之间的差异图提供了异常组织的必要像素级识别。然而，来自 DDPM、pDDPM 和 mDDPM 模型的生成健康图像存在保真度问题，并包含没有医学意义的伪影。虽然 cDDPM 实现了略高的保真度和伪影抑制，但它需要巨大的内存占用，并且在计算上比其他基于 DDPM 的模型更昂贵。在这项工作中，我们提出了一种改进版的 DDPM，称为多通道条件去噪扩散概率模型 (MCDDPM)，用于脑部 MRI 扫描中的无监督异常检测。我们提出的模型通过在训练过程中利用来自健康图像的附加信息来实现高保真度，从而增强了 DDPM 模型的表示能力，并且其计算成本和内存需求与 DDPM、pDDPM 和 mDDPM 模型相当。在多个数据集（例如 BraTS20、BraTS21）上的实验结果证明了该方法的良好性能。代码可在 https://github.com/vivekkumartri/MCDDPM 获取。
本文探讨了带符号图，它通过标记为正或负号的边来模拟友好或对抗关系，重点关注链接符号预测任务。虽然带符号图神经网络（SGNNs）已经取得进展，但它们面临着诸如图稀疏性和不平衡三角形等挑战。作者建议使用数据增强（DA）技术来解决这些问题，尽管许多现有方法由于缺乏辅助信息而不适用于带符号图。他们强调，随机DropEdge方法，一种罕见的适用于带符号图的DA方法，并没有提升链接符号预测性能。为了应对这一挑战，他们引入了带符号图增强（SGA）框架，该框架包括一个结构增强模块来识别候选边，以及一个选择有利候选边的策略，最终改善了SGNN训练。实验结果表明，SGA显著提高了SGNN模型的性能，在Slashdot数据集上，SGCN的F1-micro指标提升了32.3%。
深度学习模型，例如用于人脸识别和属性预测的模型，容易受到对抗性噪声和非故意噪声（包括高斯噪声和脉冲噪声）的操纵。本文介绍了 CIAI，一种基于改进的视觉转换器并带有检测层的类别无关对抗意图检测网络。CIAI 采用了一种新颖的损失函数，将最大均值差异和中心损失相结合，以检测有意（对抗攻击）和无意噪声，而不管图像类别如何。它以多步方式进行训练。我们还在检测过程中引入了意图方面，这可以作为额外的安全层。我们进一步展示了我们提出的检测器在 CelebA、CelebA-HQ、LFW、AgeDB 和 CIFAR-10 数据集上的性能。我们的检测器能够检测有意（如 FGSM、PGD 和 DeepFool）和无意（如高斯噪声和椒盐噪声）扰动。