模型集成对抗攻击已成为生成可迁移对抗样本的强大方法，可以针对甚至未知模型，但其理论基础仍未得到充分探索。为了弥合这一差距，我们提供了早期理论见解，作为推进模型集成对抗攻击的路线图。我们首先定义了迁移性误差来衡量对抗迁移性中的误差，以及多样性和经验模型集成 Rademacher 复杂度的概念。然后，我们将迁移性误差分解为脆弱性、多样性和一个常数，这严格地解释了模型集成攻击中迁移性误差的来源：对抗样本对集成组件的脆弱性以及集成组件的多样性。此外，我们将信息论中的最新数学工具应用于使用复杂性和泛化项来限定迁移性误差，为减少迁移性误差贡献了三个实用指南：（1）包含更多代理模型，（2）增加其多样性，以及（3）在过拟合的情况下降低其复杂性。最后，对 54 个模型进行的大量实验验证了我们的理论框架，代表了理解可迁移模型集成对抗攻击的重大进步。
近年来，诸如 Linformer 和 Mamba 等架构已成为 Transformer 的线性时间替代方案，并具有竞争力。然而，相应的预训练大型模型往往不可用，尤其是在非文本领域。为了解决这个问题，我们提出了一种跨架构逐层蒸馏 (CALD) 方法，该方法将 Transformer 模型转换为线性时间替代模型，并将其微调到目标任务。我们还比较了几种指导微调的方法，以从原始模型中最佳地保留所需的推理能力。这些方法在使用目标模型和参数轨迹方面有所不同。在一系列关于语言处理、语言建模和语音处理的实证研究中，我们表明 CALD 可以有效地恢复原始模型的结果，并且指导策略有助于结果。我们还提出了一些导致结果差异的原因。
arXiv:2410.06845v1 类别:交叉学科
摘要：精神健康障碍是全世界最主要的严重疾病之一。患有此类疾病的人群往往缺乏适当的医疗服务，突显了训练用于精神健康障碍诊断和治疗的模型的重要性。然而，在精神健康领域，隐私问题限制了个性化治疗数据的获取能力，使得构建强大的模型变得颇具挑战性。本文我们引入了MentalArena，这是一种自我博弈框架，通过生成特定领域的个性化数据来训练语言模型，从而获得一个能够进行个性化诊断和治疗（如治疗师）以及提供信息（如患者）的更好模型。为了准确模拟人类精神健康病人，我们设计了Symptom Encoder，从认知和行为的角度模拟了一个真实的病人。为了应对患者-治疗师交互中意图偏见的问题，我们提出了Symptom Decoder来比较诊断症状和编码症状，并根据识别到的偏差动态管理患者和治疗师之间的对话。我们对MentalArena进行了评估，与包括生物医学QA和精神健康任务在内的6个基准进行比较，并与6个先进模型进行对比。我们的模型在GPT-3.5和Llama-3-8b的基础上进行微调，显著优于其同类模型，包括GPT-4o。我们希望我们的工作能够激励未来个性化护理的研究。代码可在https://github.com/Scarelette/MentalArena/tree/main获取
我们针对存在静态和动态障碍物的移动机器人进行局部轨迹规划任务。局部轨迹通过求解模型预测控制（MPC）问题的数值解获得。通过将障碍物的排斥势添加到 MPC 的成本函数中，可以实现避碰。我们提出了一种方法，其中排斥势由神经模型估计。我们提出了并探索了三种处理动态障碍物的策略。首先，将包含动态障碍物的环境视为一系列静态环境。其次，神经模型一次预测一系列排斥势。第三，神经模型以自回归模式逐步预测未来的排斥势。我们实施了这些策略，并使用 BenchMR 框架将其与 CIAO* 和 MPPI 进行比较。前两种策略在保持安全约束的同时，表现出比 CIAO* 和 MPPI 更高的性能。第三种策略速度略慢，但仍然满足时间限制。我们在 Husky UGV 移动平台上部署了我们的方法，该平台在提出的 MPC 局部轨迹规划器的控制下，在办公室走廊中移动。代码和训练模型可在 \url{https://github.com/CognitiveAISystems/Dynamic-Neural-Potential-Field} 获取。
左心室射血分数 (LVEF) 是心血管功能最重要的临床参数。准确估计该参数高度依赖于在舒张末期和收缩末期阶段对左心室 (LV) 结构的精确分割。因此，开发用于在不同阶段精确分割心脏结构的鲁棒算法至关重要。方法：在这项工作中，我们引入了一个改进的 3D UNet 模型来分割心肌和 LV，同时根据心血管磁共振学会的建议排除乳头肌。为了对所提出的框架进行实际测试，我们从突尼斯军事医院 (HMPIT) 收集并分析了总共 8,400 张心脏 MRI 图像，以及流行的 ACDC 公共数据集。作为性能指标，我们使用 Dice 系数和 F1 分数来验证/测试 LV 和心肌分割。结果：数据分别被分成 70%、10% 和 20% 用于训练、验证和测试。值得注意的是，所提出的分割模型在三个轴向视图（基底、中基底和顶端）以及两个不同的心脏阶段（舒张末期和收缩末期）进行了测试。实验结果表明，在舒张末期和收缩末期，Dice 指数分别为 0.965 和 0.945，F1 分数分别为 0.801 和 0.799。此外，临床评估结果表明，当包含或排除乳头肌时，LVEF 和其他临床参数存在显着差异。
神经网络认证已成为确保神经网络鲁棒性的关键工具。认证方法通常依赖于可行输出集的凸松弛来提供可靠的界限。然而，完全认证需要精确的界限，这极大地限制了 ReLU 网络的表达能力：即使对于 $\mathbb{R}^2$ 中的简单“$\max$”函数，也不存在一个能够表达该函数并能被单神经元松弛方法精确界定的 ReLU 网络。这引发了一个问题，即是否存在一个凸松弛，可以为 $\mathbb{R}^n$ 中的一般连续分段线性函数提供精确的界限。在这项工作中，我们通过证明（逐层）多神经元松弛可以为一般 ReLU 网络提供完全认证，从而肯定地回答了这个问题。基于这一新颖的结果，我们表明 ReLU 网络的表达能力在多神经元松弛下不再受到限制。据我们所知，这是关于凸松弛完备性的第一个积极结果，为认证鲁棒性的实践提供了启示。
过参数化模型通常容易受到成员推理攻击，该攻击旨在确定特定样本是否包含在给定模型的训练中。以往的权重正则化（例如，L1 正则化）通常对所有参数施加统一的惩罚，导致模型效用和隐私之间权衡不佳。在这项工作中，我们首先表明，只有一小部分参数会对隐私风险产生重大影响。鉴于此，我们提出了隐私感知稀疏性调整 (PAST)，这是一种对 L1 正则化的简单修复，通过对不同参数采用自适应惩罚来实现。PAST 背后的关键思想是促进对显着有助于隐私泄露的参数进行稀疏化。特别是，我们根据每个参数的隐私敏感性（即损失差距相对于参数的梯度）来构建每个参数的自适应权重。使用 PAST，网络缩小了成员和非成员之间的损失差距，从而对隐私攻击具有很强的抵抗力。大量实验表明 PAST 的优越性，在隐私-效用权衡方面达到了最先进的平衡。
人工智能和机器学习的进步显著提升了合成语音的生成能力。本文探讨了扩散模型，一种用于创建逼真合成语音的新方法。我们利用现有的工具和预训练模型创建了一个扩散数据集。此外，本研究评估了扩散生成的深度伪造与非扩散生成的深度伪造的质量，以及它们对当前深度伪造检测系统的潜在威胁。研究结果表明，基于扩散的深度伪造的检测与非扩散的深度伪造大体相当，但存在一些基于检测器架构的差异。使用扩散声码器重新编码对检测结果的影响很小，总体语音质量与非扩散方法相当。
最近的大型语言模型（LLMs）在数学和逻辑推理任务中展现出了非凡的泛化能力。先前研究表明，使用编程语言数据进行预训练的 LLMs 表现出很高的数学和推理能力；然而，这种因果关系尚未得到严格的检验。我们的研究旨在验证预训练过程中哪些编程语言和特征会影响逻辑推理性能。具体而言，我们使用来自十种编程语言（如 Python、C、Java）和三个自然语言数据集（维基百科、Fineweb、C4）的训练数据，在相同条件下从零开始预训练了基于解码器的语言模型。之后，我们在逻辑推理任务（FLD 和 bAbi）的少样本上下文学习环境中评估了训练后的模型，这些任务不需要常识或世界知识。结果表明，几乎所有使用编程语言训练的模型都始终优于使用自然语言训练的模型，这表明编程语言包含促成逻辑推理性能的因素。此外，我们发现，与使用自然语言训练的模型相比，使用编程语言训练的模型在遵循指令方面表现出更好的能力。进一步分析表明，代表程序解析结果的抽象语法树的深度也会影响逻辑推理性能。这些发现将为理解 LLMs 获得基础能力的预训练必要要素提供见解。
尽管自然语言处理的进步显著提高了大型语言模型 (LLM) 在需要垂直思考的任务中的表现，但它们横向思考的能力仍未得到充分探索，并且由于评估创造性思维过程的复杂性和相关数据的稀缺性，难以衡量。为了解决这些挑战，我们引入了 SPLAT，这是一个利用情境谜题来评估和引出 LLM 横向思考能力的基准。该基准包含 975 个跨三个难度级别的分级情境谜题，采用了新的多轮玩家-裁判框架，而不是传统的基于模型的评估，后者通常需要更强大的评估模型。该框架模拟了一个交互式游戏，模型（玩家）向评估模型（裁判）询问有关不完整故事的问题以推断完整场景。裁判根据详细的参考场景回答问题，或者评估玩家的预测是否与参考场景一致。这种方法减少了对更强大的评估模型的依赖，从而能够评估最先进的 LLM。实验表明，强大的评估模型（如 WizardLM-2）在中间问答和最终场景准确性方面与人类判断高度一致，达到 80% 以上的一致性，与人类之间的一致性水平相似。此外，将我们基准中的数据和推理过程应用于其他与横向思考相关的基准（例如 RiddleSense 和 BrainTeaser）会导致性能提升。这表明我们的基准有效地评估和引出了 LLM 的横向思考能力。代码可在以下地址获取：https://github.com/chenqi008/LateralThinking。