因果关系的研究在许多科学分支中都至关重要,对智能系统的许多实际应用也至关重要。特别是,在包含隐藏因素的情况下识别因果关系,对于仅依靠观察数据构建因果模型的方法来说是一个重大挑战。本文提出了一种因果发现方法 CAnDOIT,该方法使用观察数据和干预时间序列数据来重建因果模型。在因果分析中使用干预数据对于现实世界的应用至关重要,例如机器人技术,在这种情况下,场景非常复杂,仅靠观察数据通常不足以揭示正确的因果结构。该方法的验证首先在随机生成的合成模型上进行,随后在机器人操作环境中进行因果结构学习的知名基准上进行。实验表明,该方法可以有效地处理来自干预的数据,并利用它们来提高因果分析的准确性。CAnDOIT 的 Python 实现也已开发完成,并已在 GitHub 上公开发布:https://github.com/lcastri/causalflow。
近年来,许多成功的方法被提出用于从数据中学习动力系统。这些方法通常依赖于系统完整状态的可用性。然而,这一基本假设相当严格,因为在实践中通常无法得到证实,导致我们面对部分观测系统。利用统计物理中的 Mori-Zwanzig (MZ) 形式,我们证明了常时滞神经延迟微分方程 (NDDE) 自然地充当部分观测状态的合适模型。在实证评估中,我们表明这些模型在合成数据和实验数据上的表现都优于现有方法。
本文提出了一种针对黑盒大型语言模型的简单但有效的越狱攻击方法,名为 FlipAttack。首先,根据自回归的特性,我们发现大型语言模型倾向于从左到右理解文本,并在文本左侧添加噪声时难以理解文本。基于这些见解,我们提出了一种通过仅基于提示本身构建左侧噪声来伪装有害提示的方法,并将其推广到 4 种翻转模式。其次,我们验证了大型语言模型执行文本翻转任务的强大能力,并开发了 4 种变体来引导大型语言模型准确地进行去噪、理解和执行有害行为。这些设计使 FlipAttack 具有通用性、隐蔽性和简单性,使其能够仅通过一次查询就越狱黑盒大型语言模型。在 8 个大型语言模型上的实验表明了 FlipAttack 的优越性。值得注意的是,它在 GPT-4o 上实现了约 98% 的攻击成功率,并且在 5 个安全模型上平均实现了约 98% 的绕过率。代码可在 GitHub 上获取\footnote{https://github.com/yueliu1999/FlipAttack}。
生成式人工智能(GenAI)正日益融入我们的日常生活。计算能力和数据可用性的提升导致了单模态和多模态模型的激增。随着 GenAI 生态系统的成熟,对可扩展且模型无关的风险识别框架的需求日益增长。为了满足这一需求,我们引入了 Python 风险识别工具包 (PyRIT),这是一个开源框架,旨在增强 GenAI 系统中的红队行动。PyRIT 是一种模型和平台无关的工具,使红队人员能够探测和识别多模态生成式 AI 模型中的新型危害、风险和越狱行为。其可组合的架构促进了核心构建块的重复使用,并允许扩展到未来的模型和模态。本文详细介绍了针对生成式 AI 系统红队行动的具体挑战、PyRIT 的开发和功能,以及其在现实世界场景中的实际应用。
本文提出了一种针对无人机(UAV)入侵的新型入侵检测方法,该方法基于最新的真实无人机入侵数据集。具体而言,在该方法的第一阶段,我们设计了一种自动编码器架构,用于有效地提取重要特征,然后在第二阶段将这些特征输入到各种机器学习模型中,以检测和分类攻击类型。据我们所知,这是首次尝试使用真实数据集为无人机提出基于自动编码器的机器学习入侵检测方法,而现有的大多数工作只考虑模拟数据集或与无人机通信无关的数据集。我们的实验结果表明,该方法在二元和多类分类任务中均优于特征选择方案等基线方法。
图神经网络 (GNN) 在多媒体领域有着广泛的应用。最近的研究表明,图神经网络 (GNN) 易受链接窃取攻击,这种攻击推断出目标 GNN 训练图中存在边。现有的攻击通常基于两个节点共享相似后验之间存在链接的假设;然而,它们未能关注不符合这种假设的链接。为此,我们提出了 LinkThief,一种改进的链接窃取攻击,它在攻击者背景知识包含部分泄露的目标图和影子图的情况下,将广义结构知识与节点相似性相结合。具体来说,为了使攻击模型能够洞悉跨越影子图和目标图的链接结构,我们引入了创建影子-目标桥接图并从中提取边子图结构特征的想法。通过从隐私窃取角度进行理论分析,我们首先探讨了如何实现上述想法。基于这些发现,我们设计了桥接图生成器来构建影子-目标桥接图。然后,通过边子图准备模块对链接周围的子图进行采样。最后,设计了边结构特征提取器来获取广义结构知识,该知识与节点相似性相结合,形成提供给攻击模型的特征。大量的实验验证了理论分析的正确性,并证明 LinkThief 仍然可以在没有额外假设的情况下有效地窃取链接。
基于人工智能的血管分割在增强眼科疾病的筛查和治疗中越来越普遍。基于 U-Net 的深度学习结构在血管分割方面取得了相对较好的性能。然而,在通过传统的 U-Net 降采样模块时,细小的血管和毛细血管往往会丢失。为了解决这一差距,本文提出了一种新颖的基于卡尔曼滤波的线性可变形扩散 (KLDD) 模型用于视网膜血管分割。我们的模型采用了一种扩散过程,通过迭代地细化分割,利用可变形卷积在特征提取模块中的灵活感受野来适应详细的管状血管结构。更具体地说,我们首先使用具有线性可变形卷积的特征提取器从输入图像中捕获血管结构信息。为了更好地优化可变形卷积的坐标位置,我们采用卡尔曼滤波器来增强线性可变形卷积中对血管结构的感知。随后,提取的血管结构特征被交叉注意力聚合模块 (CAAM) 和通道级软注意力模块 (CSAM) 作为扩散模型中的条件元素。这些聚合旨在增强扩散模型生成血管结构的能力。实验在视网膜眼底图像数据集(DRIVE、CHASE_DB1)以及 OCTA-500 数据集的 3mm 和 6mm 上进行评估,结果表明本文提出的扩散模型优于其他方法。
近年来,AutoPET 竞赛汇集了医学影像领域的研究人员,围绕着一个热门话题:正电子发射断层扫描 (PET) 扫描中的病灶分割。每年都会提出该问题的不同方面;2024 年,现有和使用过的示踪剂的多样性成为挑战的核心。具体而言,今年的比赛旨在开发一种全自动算法,能够在 PET/CT 扫描中执行病灶分割,而无需了解示踪剂,示踪剂可以是 FDG 或 PSMA 基示踪剂。本文描述了我们如何使用 nnUNetv2 框架训练两组 6 折模型集合,以执行全自动 PET/CT 病灶分割,以及使用 MIP-CNN 选择哪组模型用于分割。
可重复性是科学研究的关键。然而,在计算机视觉领域,由于各种因素,实现一致的结果具有挑战性。一个有影响力但经常被忽视的因素是 CUDA 引起的随机性。尽管 CUDA 在加速 GPU 上算法执行方面具有优势,但如果不受控制,其在多次执行中的行为仍然是非确定性的。虽然机器学习中的可重复性问题正在被研究,但 CUDA 引起的随机性在应用中的影响还有待了解。我们的研究重点是在一个隔离的环境中,针对一个标准基准数据集和两个真实世界数据集的这种随机性。我们的结果表明,CUDA 引起的随机性会导致性能分数差异高达 4.77%。我们发现,为了实现可重复性而管理这种可变性可能会增加运行时间或降低性能,但这些缺点并不像以前的研究中所报道的那样显著。
本研究提出了一种基于不确定性感知的堆叠神经网络模型,用于从放射影像中可靠地识别COVID-19。该模型通过关注准确识别自信正确的预测,同时提醒用户注意自信错误和不确定的预测,从而弥补了不确定性感知建模的关键差距,并能增强对自动化系统的信任。该架构整合了不确定性量化方法,包括蒙特卡罗 dropout 和集成技术,通过评估诊断预测的确定性来提高预测可靠性。在一个两层模型框架中,第一层模型生成初始预测和相关不确定性,第二层模型使用这些信息来生成一个信任指标以及诊断结果。这种双输出模型不仅预测COVID-19病例,还提供一个信任标志,指示每个诊断的可靠性,并旨在最大限度地减少重新检测和专家验证的需求。该方法的有效性通过对COVIDx CXR-4数据集的广泛实验得到证明,展示了一种识别和处理自信错误案例和不确定案例的新方法,从而增强了临床环境中自动化诊断的可靠性。