为了有效地研究复杂的因果系统，构建能够简化系统部分的表示方法通常很有用，这些表示方法能够丢弃无关细节，同时保留关键特征。信息瓶颈 (IB) 方法是一种广泛应用于表示学习的方法，它在保留目标变量信息的同时压缩随机变量。传统的 IB 方法纯粹是统计性的，忽略了潜在的因果结构，使其不适合因果任务。我们提出了因果信息瓶颈 (CIB)，它是 IB 的因果扩展，它在保持对目标变量的因果控制的同时压缩一组选定的变量。该方法产生的表示具有因果可解释性，并且可以在推理干预时使用。我们展示了实验结果，证明所学表示准确地捕获了预期的因果关系。
本文提出了一种基于随机世界方法，将相关司法原则形式化于一个连贯框架内的概率方法来分析版权侵权纠纷。该方法提供了对关键证据原则的结构化分析，特别强调了“反比规则”——一项被一些法院采用的有争议的原则。尽管该规则面临着重大批评，但正式证明表明其有效性，前提是其定义正确。此外，本文还探讨了生成式 AI 带来的版权风险加剧问题，强调了生成模型对版权材料的广泛访问如何增加了侵权风险。利用概率方法，对之前提出的作为潜在缓解策略的“接近无访问”（NAF）条件进行了评估。分析表明，虽然 NAF 条件缓解了一些侵权风险，但其合理性和有效性在某些情况下值得怀疑。这些发现表明，严格的概率方法可以促进我们对版权法学及其与新兴技术的相互作用的理解。
生成式人工智能在推动虚拟世界出现方面展现出巨大潜力，但对于理解这一过程如何作为社会互动展开的研究却很少。我们提出了“社会魔术师”，这是一个用于人工智能增强动态 3D 场景共同创作的框架，其中多个用户可以实时协作构建和修改虚拟世界。通过扩展的交互集，包括社交和基于工具的互动以及空间推理，我们的框架促进了丰富多样虚拟环境的创建。一项初步用户研究（N=12）的结果提供了对这种方法的用户体验、社会环境如何塑造空间环境的提示以及对基于提示的 3D 共同创作的社会应用的视角。除了强调人工智能支持的多用户世界创建的潜力，并为 VR 中人工智能增强创意过程提供新的途径外，本文还提出了一组关于设计以人为本的界面的含义，这些界面将人工智能模型整合到 3D 内容生成中。
我们介绍了 Moshi，一个语音-文本基础模型和全双工对话框架。现有的语音对话系统依赖于独立组件的流水线，即语音活动检测、语音识别、文本对话和文本到语音。这种框架无法模拟真实对话的体验。首先，它们的复杂性导致交互之间存在几秒钟的延迟。其次，文本是对话的中间媒介，修饰语义的非语言信息（如情绪或非语音声音）在交互中丢失。最后，它们依赖于对说话者轮次的分割，这没有考虑到重叠语音、打断和插话。Moshi 通过将语音对话视为语音到语音生成来解决这些独立问题。从文本语言模型骨干开始，Moshi 从神经音频编解码器的残差量化器中生成语音作为标记，同时将自己的语音和用户的语音分别建模为并行流。这允许去除显式的说话者轮次，并对任意对话动态进行建模。此外，我们将之前工作中的分层语义到声学标记生成扩展到首先预测时间对齐的文本标记作为音频标记的前缀。这种“内心独白”方法不仅显著提高了生成语音的语言质量，而且我们还说明了它如何提供流式语音识别和文本到语音。我们最终的模型是第一个实时全双工语音大型语言模型，理论延迟为 160 毫秒，实际延迟为 200 毫秒，可在 https://github.com/kyutai-labs/moshi 获取。
知识蒸馏（KD）已成为将知识从更大、更复杂的教师模型转移到更小的学生模型的一种很有前景的方法。传统上，KD 涉及训练学生模仿教师的输出概率，而更先进的技术则探索指导学生采用教师的内部表示。尽管 KD 取得了广泛的成功，但它在二元分类和少数类别问题中的性能并不令人满意。这是因为教师模型泛化模式的信息量直接与类别数量成正比。此外，一些复杂的蒸馏方法可能不适用于所有类型的数据，或者对于计算机视觉以外的数据类型效果不佳。因此，对于一系列关键的现实世界应用，如情感分析、搜索查询理解和广告查询相关性评估，有效的蒸馏技术仍然难以捉摸。考虑到这些观察结果，我们提出了一种从教师模型表示中蒸馏知识的新方法，我们将其称为学习嵌入线性投影（LELP）。受关于最终层表示结构的最新发现的启发，LELP 通过识别教师嵌入空间中的信息性线性子空间，并将它们分成伪子类来工作。然后训练学生模型来复制这些伪子类。我们在 Amazon Reviews 和 Sentiment140 等大规模 NLP 基准上的实验评估表明，LELP 在二元和少数类别问题中始终与现有最先进的蒸馏算法竞争，并且通常优于它们，而大多数 KD 方法在这些问题中效果不佳。
模拟病人系统在现代医学教育和研究中发挥着至关重要的作用，提供安全的、综合的学习环境，并使临床决策模拟成为可能。大型语言模型 (LLM) 可以通过高保真度和低成本复制医疗状况和病人-医生互动来推动模拟病人系统的发展。然而，确保这些系统的有效性和可信度仍然是一个挑战，因为它们需要一个庞大、多样化和精确的病人知识库，以及一个强大且稳定的知识传播机制。在这里，我们开发了 AIPatient，一种先进的模拟病人系统，以 AIPatient 知识图谱 (AIPatient KG) 作为输入，推理检索增强生成 (Reasoning RAG) 代理工作流程作为生成主干。AIPatient KG 从重症监护医疗信息市场 (MIMIC)-III 数据库中的电子健康记录 (EHR) 中采样数据，产生了一个临床多样化且相关的 1,495 名病人的队列，具有较高的知识库有效性 (F1 0.89)。Reasoning RAG 利用六个由 LLM 驱动的代理，跨越包括检索、KG 查询生成、抽象、检查器、重写和总结在内的任务。这种代理框架在基于 EHR 的医疗问答 (QA) 中达到了 94.15% 的整体准确率，超过了使用无代理或仅部分代理集成的基准。我们的系统还呈现出高可读性（中位数 Flesch 阅读易读性 77.23；中位数 Flesch Kincaid 年级 5.6）、鲁棒性（ANOVA F 值 0.6126，p>0.1）和稳定性（ANOVA F 值 0.782，p>0.1）。AIPatient 系统的良好表现突出了其在支持各种应用方面的潜力，包括医学教育、模型评估和系统集成。
在抽象摘要中，从源文档中包含的大量信息中生成简洁准确的摘要是一个挑战。因此，虽然大型语言模型（LLMs）可以生成流畅的文本，但它们经常通过幻觉生成原始来源中不存在的内容而引入不准确性。虽然最大化似然的监督微调方法有助于解决这个问题，但它们并不能始终如一地提高摘要的忠实度。基于偏好的优化方法，例如直接偏好优化（DPO），可以进一步细化模型以与人类偏好保持一致。但是，这些方法仍然严重依赖于昂贵的人工反馈。在本研究中，我们介绍了一种新颖且直接的方法，称为基于模型的偏好优化（MPO），用于微调 LLMs 以提高摘要能力，而无需任何人工反馈。通过利用模型固有的摘要能力，我们创建了一个偏好数据集，该数据集完全由模型使用不同的解码策略生成。我们在标准摘要数据集和各种指标上的实验表明，我们提出的 MPO 显着提高了生成摘要的质量，而无需依赖人工反馈。
感知系统在自动驾驶中起着至关重要的作用，它融合了多个传感器和相应的计算机视觉算法。3D LiDAR 传感器被广泛用于捕获车辆周围环境的稀疏点云。然而，由于这些点云的稀疏性和缺乏语义信息，此类系统难以感知场景中的遮挡区域和间隙。为了解决这些挑战，语义场景补全 (SSC) 在给定原始 LiDAR 测量的情况下，共同预测场景中未观察到的几何形状和语义信息，旨在实现更完整的场景表示。基于扩散模型在图像生成和超分辨率任务中取得的良好成果，我们提出了将其扩展到 SSC，方法是在点空间和语义空间分别执行噪声和去噪扩散过程。为了控制生成，我们使用语义 LiDAR 点云作为条件输入，并设计局部和全局正则化损失来稳定去噪过程。我们在自动驾驶数据集上评估了我们的方法，结果表明，我们的方法在 SSC 方面优于现有技术。
尽管大型语言模型 (LLM) 因其卓越的能力而被广泛应用，但它们已被证明容易受到后门攻击。这些攻击通过对训练样本进行中毒和全参数微调，将目标漏洞引入 LLM。然而，这种后门攻击受到限制，因为它们需要大量的计算资源，尤其是在 LLM 的规模不断增大的情况下。此外，参数高效微调 (PEFT) 提供了一种替代方案，但受限的参数更新可能会阻碍触发器与目标标签的对齐。在本研究中，我们首先验证了使用 PEFT 的后门攻击在实现可行性能方面可能会遇到挑战。为了解决这些问题并提高使用 PEFT 的后门攻击的有效性，我们提出了一种基于特征对齐增强知识蒸馏的从弱到强的后门攻击算法 (W2SAttack)。具体来说，我们通过全参数微调对小型语言模型进行中毒，使其作为教师模型。然后，教师模型通过特征对齐增强知识蒸馏将后门秘密地转移到大型学生模型，该方法采用 PEFT。理论分析表明，W2SAttack 有可能增强后门攻击的有效性。我们在四个语言模型、四种后门攻击算法和两种不同的教师模型架构上演示了 W2SAttack 在分类任务中的优越性能。实验结果表明，针对 PEFT 的后门攻击的成功率接近 100%。
本文首次研究了针对大型语言模型 (LLM) 的**多指定检测器水印 (MDDW)** 技术。该技术允许模型提供者从 LLM 中生成带水印的输出，并具有以下两个关键特性：(i) 只有特定（可能多个）指定检测器才能识别水印；(ii) 对普通用户来说，输出质量没有明显下降。我们对 MDDW 的安全定义进行了形式化，并提出了一种使用**多指定验证器签名 (MDVS)** 为任何 LLM 构建 MDDW 的框架。鉴于 LLM 输出具有显著的经济价值，我们引入了**可申明性**作为 MDDW 的可选安全功能，使模型提供者能够在指定检测器设置中声明对 LLM 输出的所有权。为了支持可申明 MDDW，我们提出了一种将任何 MDVS 转换为可申明 MDVS 的通用转换方法。我们对 MDDW 方案的实现突出了其相对于现有方法的先进功能和灵活性，并具有令人满意的性能指标。