arXiv:2502.13794v1 宣告类型: cross
摘要: 从头训练大规模语言模型(LLMs)需要极大的计算资源，使其变得极其昂贵。通过利用较小模型的参数来创建较大的模型，模型的扩展提供了一个有希望的解决方案。然而，现有的深度扩展方法依赖于层复制的统计启发式规则，这导致在持续预训练过程中有较差的初始化和较慢的收敛速度。我们提出了一种新颖的学习方法 \textbf{LESA} 用于深度扩展。通过将每一层的参数连接起来并应用奇异值分解，我们发现了层间隐藏的模式，表明层间的参数可以被学习。LESA 使用神经网络预测相邻层之间插入的参数，这有助于更好的初始化和更快的训练。实验表明，LESA 在持续预训练过程中实现了优于现有基线的性能，且计算成本仅为一半以下。广泛的分析展示了其在不同模型大小和任务上的有效性。
arXiv:2502.13785v1 交叉公告类型：交叉
摘要：基于mRNA的疫苗已成为制药行业的重点。mRNA的编码序列以及非翻译区（UTRs）可以强烈影响翻译效率、稳定性、降解及其他共同决定疫苗有效性的因素。然而，针对这些特性的mRNA序列优化仍然是一个复杂的挑战。现有的深度学习模型往往只专注于编码区域的优化，忽视了UTRs。我们提出了Helix-mRNA，这是一种基于结构状态空间和注意力机制的混合模型，以应对这些挑战。除了一个初始预训练外，一个第二阶段的预训练使我们能够使用高质量的数据专门化模型。我们采用单碱基配对的mRNA序列分词，并保留了原mRNA序列的先前生物和结构信息。我们的模型Helix-mRNA在分析UTRs和编码区域特性方面优于现有方法。它可以处理比当前方法长6倍的序列，同时仅使用现有基础模型10%的参数。其预测能力适用于mRNA的所有区域。我们公开了该模型（https://github.com/helicalAI/helical）及其模型权重（https://huggingface.co/helical-ai/helix-mRNA）。
arXiv:2502.13778v1 安全公告类型: 交叉
摘要：快速工业数字化创造了复杂的网络安全需求，这需要有效的验证方法。虽然网络安全试验场和仿真平台被广泛部署，但在场景多样性和生成效率方面经常面临限制。在本文中，我们提出了SpiderSim，这是一种理论上的网络安全仿真平台，能够为工业数字化安全研究快速生成轻量级场景。平台的核心引入了三个关键创新：统一场景建模的结构化框架、自动生成的多代理协作机制以及模块化原子安全能力，以实现灵活的场景组合。在包括海上养殖场监控系统在内的多个工业数字化上下文中进行广泛的实现试验，验证了该平台在高效生成过程中能够广泛覆盖场景的能力。基于坚实的理论基础并以开源软件形式发布，SpiderSim促进了工业数字化自动化安全测试的更广泛研究和开发。
arXiv:2502.13775v1 宣布类型: cross
摘要：对齐技术已成为确保大型语言模型（LLMs）生成与人类价值观一致的输出的核心。然而，现有的对齐范式通常建模为平均的或单一的偏好，未能考虑到不同文化和人群中的多样性观点。这一局限性在与健康相关的情景中尤为重要，因为多样性的观点在文化、宗教、个人价值观和意见冲突的影响下至关重要。尽管在多元对齐方面取得了进展，但之前没有一项研究专门关注健康领域，这可能是因为公开可用的数据集较少。为了弥补这个缺口，我们介绍了VITAL，这是一个新的基准数据集，包含13,100种价值观倾向的情况和5,400个针对健康问题的多项选择题，旨在评估和基准测试多元对齐方法。通过对八种不同规模的LLM进行广泛的评估，我们发现现有的多元对齐技术在有效容纳多样化的医学信念方面存在不足，强调特定领域的定制AI对齐的必要性。本研究指出了当前方法的局限性，并为开发健康特定的对齐解决方案奠定了基础。
arXiv:2502.13767v1 类别：交叉学科
摘要：大型语言模型（LLMs）在生成代码片段方面表现出惊人的能力，有望通过人工智能（AI）自动化软件工程中的大部分工作。我们认为，在部署AI软件工程师方面所需的信任水平应与或甚至高于人类驱动的软件工程实践中建立的信任水平相当。近期LLM代理的趋势为结合LLMs的强大功能生成新代码以及分析工具的强大功能以增加代码信任度提供了一条途径。本文对此意见表示评论，探讨未来LLM代理是否会在软件工程工作流中占据主导地位，以及编程重点是否将从大规模编程转向基于信任的编程。
arXiv:2502.13764v1 声明类型：交叉
摘要：水稻是全球种植最广泛的作物之一，并发展出了众多品种。水稻生长过程中的品质主要由其品种和特性决定。传统上，水稻分类和质量评估依赖于人工视觉检查，这一过程既耗时又容易出错。然而，随着机器视觉技术的进步，基于水稻品种和特性的实时分类和质量评估变得越来越可行，从而提高了准确性和效率。本研究提出了一种实时的综合水稻谷粒评估机制，结合了一阶段目标检测方法、深度卷积神经网络和传统的机器学习技术。所提出的框架能够实现水稻品种识别、谷粒完整度分级和谷粒垩白评价。本研究使用的水稻谷粒数据集包含大约20,000张来自中国六种广泛种植的水稻品种的图像。实验结果表明，在目标检测任务中，所提出机制的平均精度（mAP）达到了99.14%，而在分类任务中的准确率为97.89%。此外，该框架在同一种水稻品种中实现谷粒完整度分级的平均准确率为97.56%，从而构成了一个有效的质量评估系统。
arXiv:2502.13755v1 宣告类型: cross
摘要: 本研究提出了一种通用策略优化(GPA)方法，用于设计最优量子传感器电路(QSCs)，以解决复杂的量子物理问题。GPA由两个部分组成：量子策略评估(QPE)和量子策略改进(QPI)。QPE通过相位估计生成搜索空间，而QPI利用Grover搜索和振幅放大技术高效地识别出生成最优QSCs的最佳策略。GPA通过选择最大化量子鱼星信息(QFI)同时最小化门的数量的门序列来生成QSCs。由GPA生成的QSCs能够生成纠缠量子态，即压缩态。高QFI表明参数变化时的灵敏度增加，使电路适用于量子态估计和控制任务。在由两个量子位和一系列R_x、R_y和S门组成的QSC上评估GPA，展示了其生成具有QFI为1的最优QSCs的效率。与现有的量子代理相比，GPA以更少的门实现了更高的QFI，展示了设计QSCs更高效的可扩展方法。本工作展示了量子代理在解决量子物理问题方面的潜在计算能力。
arXiv:2502.13751v1 通知类型: 横向交叉
摘要：随着机器学习（ML）模型在高风险行业的决策支持中的应用日益增多，提高其可解释性以增强信任的需求也日益迫切。反事实解释（Counterfactual Explanations，CEs）在这方面特别适用，因为它们可以通过展示输入数据变化对模型预测结果的影响来提供有价值的信息。然而，为了充分发挥CEs的解释潜力，仍然存在诸多挑战，尤其是在确保其在解释场景略有变化时的鲁棒性方面。尽管CEs的鲁棒性被视为一项基本要求，但由于缺乏标准化的工具和基准，全面而有效的鲁棒CE生成方法比较仍面临困难。在本文中，我们介绍了RobustX，这是一个开源的Python库，实现了各种CE生成和评估方法的集合，特别关注鲁棒性这一特性。RobustX提供了多个现有文献方法的接口，使得最先进的技术能够轻松访问。此外，该库还易于扩展，可以快速原型化新型鲁棒CE生成和评估方法。
arXiv:2502.13728v1 宣告类型: cross
摘要: 数据集蒸馏（DD）是一种将大型数据集缩减为紧凑且具有代表性的合成数据集的技术，从而加速机器学习训练。然而，传统的方法在中心化模式下运行，这带来了显著的隐私威胁并减少了其适用性。为减轻这些风险，我们提出了一种安全联邦数据蒸馏框架（SFDD），以去中心化蒸馏过程的同时保持隐私。与现有的专注于使用蒸馏知识训练全局模型的联邦蒸馏技术不同，我们的方法旨在生成一个不泄露本地贡献的蒸馏数据集。我们利用基于梯度匹配的蒸馏方法，将其调整为一种分布式设置，其中客户端在不共享原始数据的情况下参与蒸馏过程。中央聚合器通过整合客户端的更新逐步完善合成数据集，同时确保数据机密性。为了使我们的方法能够抵御服务器发起的推理攻击，攻击者可能通过利用梯度更新来重构私人数据，我们创造了一种优化的局部差分隐私方法，称为LDPO-RLD（基于随机线性分散的标签差分隐私混淆）。此外，我们评估了该框架对执行后门攻击的恶意客户端的抵抗能力，并在假设足够多的客户端参与的情况下证明了其鲁棒性。我们的实验结果表明，SFDD的有效性，并且提出的防御方法确实缓解了所识别的漏洞，同时对蒸馏数据集的性能影响 minimal。通过解决数据集蒸馏中的隐私和联邦之间的交互，本工作促进了隐私保护机器学习的发展，使我们的SFDD框架成为敏感数据共享应用的有效解决方案。
arXiv:2502.13723v1 宣告类型: 交叉
摘要: 我们引入了直接价值优化(Direct Value Optimization, DVO),这是一种用于增强大型语言模型在复杂推理任务中的创新强化学习框架。与依赖偏好标签的传统方法不同,DVO 使用单个推理步骤的价值信号,通过均方误差损失来优化模型。DVO 的关键优势在于其细粒度的监督,从而避免了劳动密集型的人工标注需求。DVO 中的目标值可以通过蒙特卡洛树搜索或结果价值模型进行估算。我们在数学推理和常识推理任务上的实证分析表明,即使在较少的训练步骤下,DVO 也始终优于现有的离线偏好优化技术。这些发现强调了价值信号在推进推理能力方面的关键作用,并突显了在缺乏明确人类偏好信息的情况下,DVO 作为更优方法的重要性。