arXiv:2502.11239v2 宣布类型：交叉
摘要：量子计算是一种超越摩尔定律的非冯·诺伊曼范式，可以在某些问题上提供超多项式加速。然而，其在诸如机器学习这类任务上的效率优势尚有待进一步研究，量子噪声也使得资源估算和经典比较变得更加复杂。我们详细估计了使用纠错超导器件运行哈罗瓦-哈西迪-洛伊德（HHL）算法的空间、时间和能量资源，该算法是线性代数和机器学习中的一种量子线性系统求解器。在不包括内存和数据传输的情况下，与经典的共轭梯度方法相比，可能的量子优势可能在 \(N \approx 2^{33} \sim 2^{48}\) 或更低出现，需要 \(O(10^5)\) 个物理量子比特、\(O(10^{12} \sim 10^{13})\) 焦耳和 \(O(10^6)\) 秒的资源，在表面代码纠错情况下，伴有三种类型的魔法态蒸馏（15-1, 116-12, 225-1）。关键参数包括条件数、稀疏性和精度 \(\kappa, s \approx O(10 \sim 100)\), \(\epsilon \sim 0.01\) 和物理错误 \(10^{-5}\)。我们的资源估算器调整 \(N, \kappa, s, \epsilon\)，提供了一种量子-经典界限的图谱，并揭示了实际的量子优势可能出现的位置。我们的研究定量地确定了为了在与现实世界相关的问题上实现可能的重要益处，纠错量子计算机应该达到怎样的先进程度。
arXiv:2502.11201v2 宣告类型: cross
摘要: 非结构化和半结构化数据处理方面出色表现使得NoSQL数据库越来越受欢迎，这突显了非技术用户与复杂数据库查询之间的差距需要用户友好的界面来填充这一空白。在本文中，我们介绍了Text-to-NoSQL任务，旨在将自然语言查询转换为NoSQL查询，从而降低非专家用户的技术门槛。为了促进该领域的研究，我们开发了一种新的自动化数据集构建过程，并为此任务发布了大规模的开源数据集TEND（Text-to-NoSQL Dataset）。此外，我们设计了一个名为SMART（Small Language Model-Assisted and Retrieval-augmented Generation-Assisted Multi-step Framework）的多步框架，该框架专为Text-to-NoSQL转换而设计。为了确保模型评估的全面性，我们还引入了一套详细的评估指标，从查询本身及其执行结果两方面评估模型性能。我们的实验结果表明了我们方法的有效性，并为该新兴领域的未来研究建立了基准。我们认为，我们的贡献将为更易于访问和直观的NoSQL数据库交互铺平道路。
arXiv:2502.11090v2 安全类型：跨领域
摘要：随着大型语言模型（LLMs）的迅速发展，LLMs的安全性已成为一个亟待精准评估的关键问题。当前的基准测试主要集中在单轮对话或单一脱缰攻击方法来评估安全性。此外，这些基准测试未详细考虑LLM识别和处理不安全信息的能力。为解决这些问题，我们提出了一种细粒度基准测试SafeDialBench，用于评估LLMs在多轮对话中面对各种脱缰攻击时的安全性。具体而言，我们设计了一种两层的分层安全分类体系，考虑了6个安全维度，并在22种对话场景下生成了超过4000个多轮对话，语言包括中文和英文。我们采用了包括引用攻击和目的反转在内的7种脱缰攻击策略，以提高对话生成数据集的质量。值得注意的是，我们构建了一种创新的LLM评估框架，该框架衡量了检测和处理不安全信息的能力以及在面对脱缰攻击时维持一致性的能力。在17个LLM的实验结果中显示，Yi-34B-Chat和GLM4-9B-Chat表现出优越的安全性能，而Llama3.1-8B-Instruct和o3-mini则显示出安全隐患。
arXiv:2502.11054v2 类型: 交叉
摘要：多回合脱狱攻击通过让大型语言模型（LLMs）进行迭代对话来模拟现实世界的人类互动，暴露了关键的安全漏洞。然而，现有方法往往在语义连贯性和攻击效果之间难以平衡，导致要么出现无害的语义漂移，要么无法有效防止检测。为了解决这一挑战，我们提出了一种名为增强推理对话的新颖多回合脱狱框架，将有害查询重新表述为良性推理任务，并利用LLMs强大的推理能力来破坏安全对齐。具体来说，我们引入了一种攻击状态机框架，系统地建模问题转换和迭代推理，确保在多回合中生成语义连贯的查询。在此框架的基础上，我们设计了收益导向的探索、自我博弈和拒绝反馈模块，以保持攻击语义，增强有效性，并维持以推理驱动的攻击进展。在多个LLMs上的广泛实验表明，RACE在复杂的对话场景中达到了最先进的攻击效果，攻击成功率（ASRs）提高了高达96%。值得注意的是，我们的方法相对于领先商用模型OpenAI o1和DeepSeek R1的ASRs分别为82%和92%，突显了其强大之处。我们已在https://github.com/NY1024/RACE发布我们的代码，以促进对该关键领域的进一步研究。
arXiv:2502.10954v2 交叉类型: cross
摘要: 测试时缩放目前是最活跃的研究领域之一，在训练时缩放达到极限后表现出很大的潜力。深度思考（DT）模型是一类递归模型，可以通过为更难的测试样本分配更多的计算资源来实现从容易到困难的一般化。然而，由于它们无法确定测试样本的复杂性，DT模型在处理容易和难的测试样本时都需要大量计算资源。过多的测试时计算资源是浪费的，并且可能导致“过度思考”问题，即更多的测试时计算资源会导致更差的结果。在本文中，我们介绍了一种测试时训练方法，用于确定测试时每个样本所需的最优计算量。我们还提出了一种新的递归架构Conv-LiGRU，用于高效的稳健视觉推理。广泛的实验表明，Conv-LiGRU比DT更稳定，有效地缓解了“过度思考”现象，并实现了更优的准确率。
arXiv:2502.10816v2 公告类型: 交叉
摘要：多模态学习因其能够整合不同模态的信息而引起了关注。然而，它经常受到多模态不平衡问题的阻碍，即某些模态占据主导地位，而其他模态则被大量闲置。虽然最近的一些研究提出了各种方法来缓解这一问题，但它们在全面和公平的比较方面仍然存在不足。在本文中，我们根据它们缓解不平衡所采用的策略系统地将各种主流多模态不平衡算法分为四组。为了便于对这些方法进行全面评估，我们引入了BalanceBenchmark基准，包括多个广泛使用的多维度数据集和从三个视角出发的评估指标：性能、不平衡程度和复杂性。为了确保公平比较，我们开发了一种模块化且可扩展的工具包，标准化了不同方法的实验流程。基于使用BalanceBenchmark进行的实验，我们确定了几种关于不同方法组在性能、不平衡程度和计算复杂性方面特性和优势的关键见解。我们希望此类分析能够在未来激发更有效的解决不平衡问题的方法，以及基础模型。工具包的代码可在 https://github.com/GeWu-Lab/BalanceBenchmark 获取。
arXiv:2502.10807v2 交叉类型
摘要：自然语言处理和大型语言模型的进步激发了对DNA进行建模的兴趣，DNA常常被称为“生命的语言”。然而，DNA建模面临着独特的挑战。首先，它需要能够处理超长的DNA序列，同时保持单核苷酸分辨率，因为单个核苷酸在DNA功能中扮演着关键角色。其次，在这个领域取得成功需要在生成性和理解性任务上均表现出色：生成性任务有望在治疗和工业应用方面有所突破，而理解性任务则提供了对生物机制和疾病至关重要的洞察。为应对这些挑战，我们提出了一种名为HybriDNA的解码器型DNA语言模型，该模型结合了混合Transformer-Mamba2架构，无缝集成了注意力机制与选择性状态空间模型的优势。这种混合设计使HybriDNA能够高效处理长达131kb的DNA序列，并保持单核苷酸分辨率。HybriDNA在BEND、GUE和LRB基准库中收集的33个DNA理解数据集中均取得了最先进的性能，并展示了在生成具有所需特性的合成顺式调控元件（CREs）方面的卓越能力。此外，我们证明了HybriDNA遵循预期的扩展规律，随着模型从300M、3B增至7B参数，性能持续提升。这些发现突显了HybriDNA的多功能性及其在推进DNA研究和应用方面的潜力，为理解和工程“生命的语言”开辟了创新的道路。
arXiv:2502.10425v2 交叉公告类型
摘要：柏拉图表示假设暗示存在一种不受不同数据模态限制的通用现实表示。受此启发，我们视每个神经元为一个系统，并在其在各种外周条件下的多段活动数据中进行检测。我们假设同一神经元具有时间不变的表示，反映了其内在属性，如分子配置、位置和形态。获得这些内在神经元表示的目标有两个标准：（I）来自同一神经元的片段应比来自不同神经元的片段具有更相似的表示；（II）这些表示必须能够很好地泛化到域外数据。为满足这些标准，我们提出了NeurPIR（神经柏拉图内在表示）框架。该框架使用对比学习，同一神经元的片段作为正实例对，而不同神经元的片段作为负实例对。在实现中，我们使用了VICReg方法，该方法侧重于正实例对，并通过正则化将不相似的样本分离。我们使用Izhikevich模型模拟的神经元群体动力学数据测试了我们的方法。结果基于预设的超参数准确地识别了神经元类型。我们还将该方法应用于两个具有空间转录组学标记的神经元类型注释和神经元位置的现实世界神经元动力学数据集。我们模型学习到的表示能够准确预测神经元类型和位置，并对域外数据（来自未见过的动物）具有鲁棒性。这表明我们方法在理解神经元系统和未来神经科学研究方面的潜力。
arXiv:2502.10398v2 安全类型: 交叉
摘要: 在这项工作中，我们探讨了AI系统的认证问题，重点是在《AI法案》的背景下，现有认证目录的实用应用及其局限性，通过尝试认证一个公开可用的AI系统来进行研究。我们的目标是评估当前方法在有效认证AI系统方面的效果，以及如何选择和利用那些可能没有活跃维护团队或最初不是为认证而设计的公开可访问AI系统进行样本认证过程。我们的方法包括利用弗劳恩霍夫AI评估目录作为全面工具，以系统的方式评估AI模型是否符合认证标准。我们发现，虽然该目录有效地结构化了评估过程，但在使用上也可能显得繁琐耗时。我们观察到了一个没有活跃开发团队的AI系统的局限性，并强调了完整系统文档的重要性。最后，我们识别了所使用认证目录的一些局限性，并提出了简化认证过程的一些想法。
arXiv:2502.11448v2 公告类型: 新增
摘要：大型语言模型（LLMs）的迅速发展使其能够在动态环境中作为自主代理处理复杂的任务。这些LLMs展示了强大的问题解决能力和对多变场景的适应性。然而，作为代理使用也会带来显著的风险，包括特定任务风险，这是代理管理员根据具体的任务要求和约束条件识别的，以及系统风险，这种风险源自其设计或交互中的漏洞，可能会危及信息的机密性、完整性和可用性（CIA），从而引发安全风险。现有的防御机构无法适应性和有效地减轻这些风险。在本文中，我们提出了AGrail，一个终身代理护栏，以增强LLM代理的安全性，其特点是适应性安全检查生成、有效的安全检查优化以及工具兼容性和灵活性。广泛的实验表明，AGrail不仅能够有效地应对特定任务和系统风险，而且能够在不同LLM代理的任务之间展示可移植性。