arXiv:2501.18922v1 类型: cross
摘要: 知识库问答（KBQA）旨在使用大规模结构化知识库（KB）回答自然语言问题。尽管大型语言模型（LLMs）取得了进展，但KBQA仍然面临知识库意识薄弱、效果与效率之间的不平衡以及高度依赖标注数据的挑战。为了解决这些挑战，我们提出了一种名为KBQA-o1的新颖代理型KBQA方法，结合了蒙特卡洛树搜索（MCTS）。它引入了一种基于ReAct的代理过程，用于逐步逻辑形式生成和知识库环境探索。此外，它使用由策略模型和奖励模型驱动的启发式搜索方法MCTS，来平衡代理探索的性能和搜索空间。通过启发式探索，KBQA-o1生成高质量的标注，以增量微调进一步改进。实验结果表明，KBQA-o1在有限标注数据的情况下优于之前的知识库有限资源KBQA方法，将Llama-3.1-8B模型的GrailQA F1性能提升至78.5%，而上一代最佳方法使用GPT-3.5-turbo时的性能为48.5%。
arXiv:2501.18919v1 声音生成类型：cross
摘要：音乐行业中的声音生成deepfake是一个令艺术家们担忧的问题。在本文中，我们提出了一种歌唱声音deepfake检测（SVDD）系统，该系统使用了open-AI的Whisper模型的噪声变异编码。尽管Whisper模型以其噪声鲁棒性而闻名，但其编码富含非语音信息，并且是噪声变异的。这促使我们将Whisper编码作为SVDD任务的特征表示进行评估。因此，在本文中，SVDD任务在人声和混合物上进行，并在不同的Whisper模型大小和两种分类器（CNN和ResNet34）下，通过不同的测试条件评估其性能指标EER百分比。
arXiv:2501.18901v1 剪切最优传输数据集距离类型: cross
摘要: 我们引入了剪切最优传输数据集距离（s-OTDD），这是一种无需训练、对模型和嵌入无依赖的数据集比较方法，适用于类别的数量变化，并能够处理不相交的标签集。核心创新是时刻变换投影（MTP），它将标签映射为特征上的分布，并转化为一个实数。使用MTP，我们推导出一个数据点投影，将数据集转换为一维分布。s-OTDD 定义为在随机投影参数下的投影分布之间的期望 Wasserstein 距离。利用一维最优传输的闭式解，s-OTDD 达到了（接近）线性的计算复杂度，在数据点数量和特征维度方面，并且与类别数量无关。凭借其具几何意义的投影，s-OTDD 与最优传输数据集距离有着很强的相关性，而在计算上优于现有的数据集差异度量方法。此外，s-OTDD 与迁移学习中的性能差距以及数据增强中的分类准确率有着良好的相关性。
arXiv:2501.18887v1 Announce Type: 偏移
摘要：AI系统的日益复杂性使理解其行为成为一个关键性的挑战。已经开发出了许多方法将模型行为归因于三个关键方面：输入特征、训练数据和内部模型组件。然而，这些归因方法在研究和应用中往往是独立进行的，导致了方法和术语的碎片化。本文立场所主张的是，特征、数据和组件归因方法在基本原理上存在相似性，并且将它们相连接可以提高解释性研究的效果。我们对三个领域的成功方法进行了详细的分析，并提出了一个统一的观点，以展示这些看似不同的方法采用了类似的方法，例如扰动、梯度和线性近似，主要的区别在于视角而非核心技术。我们统一的视角增强了对现有归因方法的理解、识别了共同的概念与挑战、使该领域对新入门者更具可访问性，并突显了不仅在归因和解释性研究，还在更广泛的AI研究（包括模型编辑、导向和监管）中的新方向。
arXiv:2501.18867v1 交叉公告类型
摘要：近期在视觉-语言-动作（VLA）模型方面的进展利用了预训练的视觉-语言模型（VLMs）来提高泛化能力。VLMs 通常是在视觉-语言理解任务上进行预训练的，可以提供丰富的语义知识和推理能力。然而，先前的研究表明，VLMs 往往注重高层次的语义内容而忽视低层次特征，这限制了它们捕捉详细的空间信息和理解物理动态的能力。这些方面对于体现控制任务至关重要，在现有的预训练范式中仍鲜有探索。在本文中，我们研究了 VLA 的训练范式，并提出了一个统一的 VLA 模型训练方法，即 **UP-VLA**，该方法结合了多模态 **U**nderstanding 和未来 **P**rediction 目标，以增强高层次语义理解和低层次空间理解。实验结果表明，UP-VLA 在 Calvin ABC-D 基准上比之前的方法提高了 33% 的性能。此外，UP-VLA 在需要精确空间信息的现实世界操作任务中展现出更好的成功率。
arXiv:2501.18865v1 宣告类型: 横跨领域
摘要：指导技术对于增强扩散模型中的条件生成既简单又有效。尽管其经验上的成功，指导的实际实现与理论动机之间存在显著差异。在本文中，我们通过用一个有效的缩放联合分布目标替换理论上无效的缩放边际分布目标来解决这一差异。此外，我们表明，现有的指导实现是无未来预见约束下难以实现的最优解的近似。基于这些理论见解，我们提出了矫正梯度指导 (REG)，这是一种通用增强方法，旨在提高现有指导方法的性能。在1D和2D的实验中，我们证明REG提供了比之前的技术更好的最优解近似，验证了所提出的理论框架的有效性。广泛的实验表明，在各类设置中，与不使用REG相比，将其纳入类条件ImageNet任务和文本到图像生成任务中，可以一致地提高FID和Inception/CLIP得分。
arXiv:2501.18858v1 Announce Type: 跨域
摘要：大规模语言模型（LLMs）在复杂推理任务中展现了显著的能力，但是在生成可靠的推理过程方面仍然面临着重大挑战。我们提出了一种统一的概率框架，通过一种新的图形模型来形式化LLM的推理过程，该模型结合了潜在的思考过程和评估信号。在这个框架内，我们引入了Bootstrapping Reinforced Thinking Process（BRiTE）算法，该算法分为两步进行。首先，它通过强化学习来近似最优的思考过程，使用了一种新的奖励塑造机制，生成高质量的理由。其次，它通过最大化理由生成与模型参数的联合概率来增强基础LLM。理论上，我们证明了BRiTE在迭代次数为$T$时以$1/T$的速度收敛。在数学和编码基准测试上的实证评估表明，我们的方法在不同的基础模型上能够持续提高性能，而无需使用人工标注的思考过程。此外，BRiTE在使用替代方法如拒绝采样来启动思考过程的现有算法中展现出更优的性能，并且甚至可以达到或超过使用人工标注数据进行监督微调所获得的结果。
arXiv:2501.18837v1 类型: 交叉
摘要: 大型语言模型（LLMs）容易受到通用突破攻击——即能够系统地规避模型保护措施并使用户能够执行需要多次模型交互的有害过程的提示策略，例如大规模制造非法物质。为了防御这些攻击，我们提出了宪法分类器：这些分类器是基于生成的合成数据训练的，这些数据是通过提示LLMs使用自然语言规则（即，宪法）生成的，这些规则规定了允许和禁止的内容。在超过3000个小时的红队测试中，没有红队成员能够找到一种通用突破攻击，能够在大多数目标查询中以与未保护模型相似的详细程度从早期分类器保护的LLM中提取信息。在自动化评估中，增强的分类器展示了对保留域特定突破的强大防御能力。这些分类器还保持了部署可行性，增加了0.38%的实际流量拒绝率，并增加了23.7%的推理开销。我们的工作证明，在保持实际部署可行性的同时防御通用突破是可行的。
arXiv:2501.18834v1 宣布类型: cross
摘要: 在公共发布前，常对头部磁共振成像（MRI）数据集进行篡改，以解决隐私问题。对面部和附近体素的修改引发了关于这些技术真正保护隐私的能力及其对下游任务影响的讨论。随着深度生成模型的发展，篡改保护隐私的程度变得不确定。此外，虽然已知篡改的体素包含有价值的人体解剖信息，但它们支持超过直接受影响的解剖区域之外的研究的可能性仍然不确定。为了评估这些考虑，我们开发了一个回脸流水线，使用级联扩散概率模型（DPMs）从篡改后的头部MRI中恢复面部。DPMs在180名受试者的图像上进行训练，并在484名未见过的受试者的图像上进行测试，其中469名来自不同的数据集。为了评估篡改过程中修改的体素是否包含普遍有用的信息，我们还从篡改和原始MRI的面部体素中预测了CT衍生的骨骼肌肉放射密度。结果显示，DPMs能够生成高保真度的面部，这些面部与篡改图像中的原始面部相似，其表面距离显著小于一般人群平均面部的距离（p<0.05）。此外，这种性能在以前未见过的数据集中也能很好地推广。对于骨骼肌肉放射密度预测，使用篡改的图像比使用原始图像的结果显著较差（p<10^-4）。对于小腿肌肉，当使用原始图像时，相关性在统计上显著（p<0.05），但应用任何篡改方法时，相关性不统计显著（p>0.05），这表明篡改不仅可能无法保护隐私，还可能消除有价值的信息。
arXiv:2501.18821v1 安全公告类型: 横向
摘要：自主车辆代表着由智能交通系统中人工智能的整合所推动的革命性进步。然而，由于控制器区域网络（CAN）总线缺乏稳健的安全机制，它们仍然存在脆弱性。为了缓解这一安全问题，已经提出了许多机器学习模型和策略，这些模型主要集中在异常的主导模式上，且在可靠性和鲁棒性方面缺乏严格的评估。因此，为了弥补之前工作的局限性并缓解CAN总线的安全漏洞，当前研究开发了一种基于问题本质的模型，以覆盖所有主导的异常模式。为此，提出了一种由两参数遗传算法优化的级联特征级融合策略，以结合时间和空间信息。随后，通过配对t检验对模型进行评估，以确保可靠性和鲁棒性。最后，在两个广泛使用的数据集上进行的全面比较分析表明，所提出模型优于其他模型，实现了更高的准确率和F1分数，证明了所有目前已提出模型中的最佳性能。