arXiv:2502.12173v1 Announce Type: cross
摘要：人体活动识别（HAR）在医疗保健、健身和物联网应用中至关重要，但由于高能耗和大内存需求，将精确模型部署到资源受限的设备上仍然具有挑战性。本文通过演示可微分无权重神经网络（DWNs）在HAR中的应用，实现了96.34%和96.67%的竞争力准确率，同时每个样本仅消耗56nJ和104nJ的能量，在每个样本上的推理时间为5ns。DWNs在FPGA上实现和评估，展示了其在能效硬件部署中的实用性。与最先进的深度学习方法相比，DWNs实现高达926,000倍的能效提升和260倍的内存减少。这些结果将DWNs定位为HAR的纳米机器学习纳米ML模型，为边缘和可穿戴设备设定了新的能效和紧凑性的基准，并铺平了超高效边缘AI的道路。
arXiv:2502.12171v1 宣告类型: cross
摘要: 低秩适应(LoRA)是一种用于高效微调预训练大型语言模型(PLLMs)的关键方法，其性能主要受到两个关键因素的影响：秩和初始化策略。为了提高性能，已经提出了许多LoRA变体来解决这些问题。然而，这些变体往往牺牲了LoRA的可用性和效率。在本文中，我们分析了现有方法的基本局限性，并提出了一种名为GoRA(梯度驱动的自适应低秩适应)的新方法，该方法根据梯度信息同时自适应地分配秩和初始化权重。广泛的实验结果表明，GoRA不仅显著提高了性能，还保留了LoRA的高可用性和效率。在使用GLUE基准任务微调的T5模型上，GoRA在性能上比LoRA提高了5.88点，并且在一定程度上超过了全量微调。同样，在使用GSM8k任务微调的Llama3.1-8B-Base模型上，GoRA在性能上比LoRA提高了5.13点，并且在高秩设置中超过了全量微调2.05点。
arXiv:2502.12170v1 类型: cross
摘要: 我们提出了 Multiway Dynamic Dense (MUDD) 连接，这是一种简单而有效的方法，用于解决残差连接的局限性并增强Transformer中的跨层信息流动。与现有具有静态和共享连接权重的稠密连接方法不同，MUDD 根据Transformer块中每个序列位置和每个分离输入流（查询、键、值或残差）的隐藏状态动态生成连接权重。MUDD 连接可以无缝集成到任何Transformer架构中，创建MUDDFormer。广泛实验证明，MUDDFormer 在各种模型架构和规模的语言建模中显著优于Transformer，实现的性能相当于使用1.8至2.4倍计算量训练的Transformer。值得注意的是，MUDDPythia-2.8B 在预训练PPL和下游任务中的表现与Pythia-6.9B相当，并且在五-shot设置中甚至与Pythia-12B竞争，而仅增加0.23%的参数和0.4%的计算量。JAX和PyTorch的代码以及预训练模型可在 https://github.com/Caiyun-AI/MUDDFormer 获取。
arXiv:2502.12167v1 Announce Type: cross
摘要：味肽已经因其独特的感官特性、良好的安全性和潜在的健康益处而成为一种有前景的天然调味剂。然而，从动物源、植物源或微生物源中从头识别这些味肽仍然是一个耗时且资源密集型的过程，极大地阻碍了它们在食品行业的广泛应用。在此，我们提出了TastePepAI，这是一个全面的人工智能框架，用于定制味肽设计和安全性评估。作为该框架的关键组成部分，我们实现了一个损失监督自适应变分自动编码器（LA-VAE），可以在训练过程中高效优化序列的潜在表示，并促进具有所需味觉特征的目标肽的生成。值得注意的是，我们的模型集成了一个新颖的味觉避免机制，允许选择性地排除特定风味。随后，我们自主研发的毒性预测算法（SpepToxPred）被整合到该框架中，用于对生成的肽进行 rigorous 安全性评估。利用这个集成平台，我们成功地鉴定了73种表现甜、咸和鲜味的肽，显著扩展了当前可用的味肽范围。本工作表明TastePepAI在加速食品应用中味肽发现方面的潜力，并提供了一个适用于更广泛肽工程挑战的通用框架。
arXiv:2502.12161v1 类别：交叉学科
摘要：地震预报仍然是一个重大的科学挑战，目前的方法尚无法达到实现有意义的社会益处所需的性能。传统模型主要基于历史地震活动和地质力学数据，难以捕捉地震模式的复杂性，并且经常忽视重要的非地震前兆，如地球物理、地球化学和大气异常。将如此多样化的数据源整合到预报模型中，并结合人工智能技术的进步，提供了一条有意义的前进之路。特别是深度学习等人工智能方法，在处理复杂的大规模数据集、识别细微模式和处理多维关系方面表现出色，使它们成为克服传统方法局限性的理想选择。
本文强调了将人工智能与地球物理知识相结合，以创建稳健、物理指导的预报模型的重要性。它探讨了当前的人工智能方法、输入数据类型、损失函数以及模型开发中的实际考虑，为地球物理学家和人工智能研究人员提供了指导。虽然许多基于人工智能的研究简单化了地震预测，忽略了数据不平衡和时空聚类等关键特征，但将特殊化的地球物理学洞察融入人工智能模型可以解决这些不足。
我们强调跨学科合作的重要性，敦促地球物理学家有创造性地探索人工智能架构，并鼓励人工智能专家加深对地震学的理解。通过在这些学科之间架起桥梁，我们可以开发出更准确、更可靠且更具社会影响力的地震预报工具。
arXiv:2502.12158v1 交叉公告类型
摘要：心脏衰竭（HF）影响了数百万美国人，并导致高再入院率，带来重大医疗保健挑战。虽然社会决定因素（SDOH）如社会经济地位和住房稳定性在健康结果中起着关键作用，但在结构化的电子健康记录（EHRs）中它们往往被低估，并且隐藏在非结构化的临床笔记中。这项研究利用先进的大型语言模型（LLMs）从临床文本中提取SDOHs，并使用逻辑回归分析它们与HF再入院之间的关联。通过识别与再入院风险相关的关键SDOHs（例如，烟草使用、有限的交通方式），本研究还为减少再入院并改善患者护理提供了可操作的见解。
arXiv:2502.01842v1 Announce Type: cross
摘要：纹理合成是计算机视觉中的一个基础任务，其目标是在从图形到科学模拟等多种应用中生成视觉上真实且结构上一致的纹理。虽然传统的平铺方法和基于补丁的技术在处理复杂纹理时常常遇到困难，但深度学习的最新进展已经彻底改变了这一领域。在本文中，我们提出了一种名为 ViT-SGAN 的新型混合模型，该模型将视觉变换器（ViTs）与空间生成对抗网络（SGAN）相结合，以解决先前方法的局限性。通过将均值-方差（μ, σ）和纹理单元这样的专用纹理描述符融入 ViTs 的自注意力机制中，我们的模型实现了卓越的纹理合成效果。这种方法增强了模型捕捉复杂空间依赖性的能力，从而提高了纹理质量，使其在现有最先进的模型中更为出色，特别是在处理规则和不规则纹理时。使用 FID、IS、SSIM 和 LPIPS 等指标的比较实验表明，ViT-SGAN 在生成多样化的真实纹理方面取得了显著的改进，突显了其高效的生成能力。
arXiv:2502.13138v1 通知类型: 新
摘要: 作为现代人工智能的基础，机器学习驱动了从根本上改变世界的创新。然而，在这些进步的背后，隐藏着一个复杂且常常耗时的过程，需要大量的劳动和计算密集型的迭代和实验。开发机器学习模型的工程师和科学家们花费大量时间在试错任务上，而不是构思创新的解决方案或研究假说。为了解决这一挑战，我们引入了AI驱动探索（AIDE），这是一种由大规模语言模型（LLMs）驱动的机器学习工程代理。AIDE将机器学习工程视为一种代码优化问题，并将试错视为在潜在解决方案空间中的树搜索。通过战略重用和改进前景看好的解决方案，AIDE有效地用计算资源换取了性能的提升，我们在包括我们的Kaggle评估、OpenAI MLE-Bench和METRS RE-Bench等多个机器学习工程基准测试中取得了最先进的结果。
arXiv:2502.13137v1 宣布类型: 新
摘要: 由于合成数据有望增强大型语言模型（LLM）的数学能力，对合成数据的需求增加。然而，确保中间推理步骤的有效性仍然是一个重大挑战，影响数据质量。虽然使用定理证明器的形式验证可以有效验证LLM的推理，但数学证明的自动形式化仍存在错误。为应对这一挑战，我们引入了迭代自动形式化，这是一种方法，通过迭代细化定理证明器的形式化来减轻错误，从而将Lean证明器的执行率从60%提高到87%。在此基础上，我们引入了《定理证明器作为裁判》（TP-as-a-Judge）方法，该方法利用定理证明器的形式化来严格评估LLM的中间推理，有效将自动形式化与合成数据生成结合在一起。最后，我们提出了《基于定理证明器反馈的强化学习框架》（RLTPF），该框架用定理证明器反馈替代了基于人类反馈的强化学习中的手动注释。在多种LLM上应用TP-as-a-Judge和RLTPF仅需3,508样本，分别在Mistral-7B（MultArith）上的准确率为5.56%，在Llama-2-7B（SVAMP）上的准确率为6.00%，在Llama-3.1-8B（AQUA）上的准确率为3.55%。
arXiv:2502.13131v1 通告类型: 新颖
摘要：理解人类偏好对于改进基础模型和构建个性化AI系统至关重要。然而，偏好是固有地多样化和复杂的，使得传统的奖励模型难以捕捉其全部范围。尽管细粒度的偏好数据有所帮助，但收集这些数据是昂贵且难以扩展的。在本文中，我们介绍了分解奖励模型（DRMs），这是一种新颖的方法，可以从二元比较中提取多样的人类偏好，而无需要求细粒度的注释。我们的关键洞察是将人类偏好表示为向量，并使用主成分分析（PCA）进行分析。通过构建青睐和拒绝响应嵌入差异的数据集，DRMs识别出能够捕捉偏好不同方面的正交基向量。这些分解后的奖励可以灵活地组合以满足不同的用户需求，提供了一种可解释且可扩展的替代传统奖励模型的选择。我们证明了DRMs有效地提取了有意义的偏好维度（例如，有用性、安全性、幽默感），并且可以在无需额外训练的情况下适应新用户。我们的结果突显了DRMs作为个性化和可解释的LLM对齐的强大框架的重要性。