arXiv:2504.03818v1 Announce Type: 横向
摘要：当前的神经网络（NN）模型可以从具有历史依赖性的数据点中学习模式。具体来说，在自然语言处理（NLP）中，序列学习已经从基于循环的架构过渡到基于变换器的架构。然而，尚不清楚哪种NN架构在包含由于机械载荷引起的变形历史的数据库上表现最佳。因此，本研究确定了一维卷积、循环和变换器架构在基于变形历史的早期状态预测变形局部化的适用性。在此调查之后，详细检查了在性能最佳的NN架构的预测过程中的数学计算与实际来自变形路径的自然物理属性的值之间的关键不兼容问题。
arXiv:2504.03814v1 类别: cross
摘要：大型语言模型（LLMs）正日益参与到互联网内容的创建中。这会形成一种反馈循环，即后续模型将被训练使用这些生成的合成数据。这一现象正受到越来越多的关注，尤其是因为先前的研究表明，这可能导致分布偏移——模型未能准确代表（人类数据）预期逼近的真实分布（例如，导致质量急剧下降）。在本研究中，我们研究了人类数据特性对迭代训练环中分布偏移动力学的影响。我们首先通过比较四个数据集（两个基于Twitter，两个基于Reddit）确认了分布偏移动力学很大程度上取决于人类数据。然后我们测试数据质量是否可能影响这一偏移的速度。我们发现在Twitter数据集上是如此，但在Reddit数据集上却不是。我们然后聚焦于一个Reddit数据集，并对其一大组数据集特性进行更详尽的评估。这项实验表明词汇多样性与更大的损害性偏移相关，而语义多样性与更小的损害性偏移相关，这表明融入具有高词汇（但有限语义）多样性的文本可能会加剧生成文本的退化。接下来我们关注政治偏见的发展，并发现观察到的偏移类型（偏差减少、放大或倒置）取决于人类（真实）分布的政治倾向。总体来说，我们的研究扩展了递归调优后果的现有文献，表明这一现象的高度依赖于训练所发生的人类数据特征。这表明互联网的不同部分（例如，GitHub，Reddit）可能会根据其特性经历不同类型的变化。
arXiv:2504.03809v1 模式类型: 交叉
摘要: 我们的主要贡献是引入了选举图框架。选举图包含三个主要元素:(1) 选举数据集(即给定候选人群的序数投票集合),(2) 一种测量这些选举之间相似性的方法,以及(3) 在二维欧几里得空间中用点表示选举的方式,使得两个选举越相似,它们的点就越接近。在我们的图中,我们主要关注合成选举的数据集,但也展示了现实生活选举的一个示例。为了测量相似性,我们更希望使用同构交换距离等方法,但由于其高计算复杂性,这是不可行的。因此,我们提出了一种可在多项式时间内计算的位位置距离,并使用了这种方法。关于在二维欧几里得空间中的表示,我们主要使用了Kamada-Kawai算法,但也展示了两种替代方法。我们建立了必要的理论结果以形成我们的图,并通过实验证明它们是准确和可信赖的。此外,我们展示了根据各种标准对图中的选举进行着色如何有助于分析大量实验的结果。特别是,我们展示了根据获胜候选人的得分或委员会、基于ILP的获胜确定算法的运行时间以及特定算法达到的近似比进行的着色。
arXiv:2504.03801v1 交叉公告类型
摘要：多标签识别（MLR）涉及将多个标签分配给图像中的每个数据实例，与单标签分类相比，在复杂场景中具有优势。然而，它面临标注所有相关类别的挑战，这常常导致不确定的标注，如未见过的或不完整的标签。最近基于视觉和语言预训练（VLP）的方法在处理零样本MLR任务时取得了显著进展，通过利用丰富的视觉-语言相关性。然而，多标签语义之间的相关性尚未得到充分探索，而且学习到的视觉特征往往缺少必要的语义信息。为了克服这些局限性，我们提出了一个语义引导的表示学习方法（SigRL），使模型能够学习有效的视觉和文本表示，从而提高下游视觉图像和类别之间的对齐。具体来说，我们首先引入了一种基于图的多标签相关模块（GMC），以促进标签之间的信息交流，丰富多标签文本中的语义表示。接下来，我们提出了一种语义视觉特征重建模块（SVFR），通过在重建过程中整合学习到的文本表示来增强视觉表示中的语义信息。最后，我们使用局部和全局特征优化VLP模型的图像-文本匹配能力，以实现零样本MLR。我们在多个MLR基准上进行了全面的实验，涵盖了零样本MLR（带有未见过的标签）和单正多标签学习（带有限制标签），展示了我们的方法在性能上优于最先进的方法。代码可在https://github.com/MVL-Lab/SigRL获得。
arXiv:2504.03800v1 类型: cross
摘要: 在线离线强化学习（RL）允许仅使用预先收集的数据进行策略训练，避免直接与环境交互——这对能量受限的实体AI应用至关重要。尽管人工神经网络（ANN）方法在离线RL中表现出色，但它们的高计算和能量需求促使探索更高效的替代方案。脉冲神经网络（SNN）因其低能耗而在这些任务中显示出潜力。在本文中，我们介绍了DSFormer，这是第一个通过序列建模来解决离线RL的基于脉冲的变压器模型。有别于现有的专注于视觉任务的空间维度的SNN变压器，我们在DSFormer中开发了时间脉冲自注意力（TSSA）和位置脉冲自注意力（PSSA），以捕捉RL中序列建模所必需的时间和位置依赖性。此外，我们提出了渐进阈值依赖批量规范化（PTBN），该方法结合了LayerNorm和BatchNorm的优点，同时保留了SNN的脉冲特性并保持了时间依赖性。在D4RL基准测试中的全面结果表明，DSFormer在SNN和ANN对应版本中都展现出优越性，实现了78.4%的能量节约，突显了DSFormer不仅在能效方面，而且在性能方面也具有竞争力。代码和模型可以在https://wei-nijuan.github.io/DecisionSpikeFormer 获取。
arXiv:2504.03799v1 交叉类型：cross
摘要：本研究探讨了新颖模型架构和大规模基础模型在下肢康复运动数据时序分析中的应用，旨在利用机器学习和人工智能的最新进展，为中风后肢体运动功能恢复患者提供主动康复指导策略。利用中国科学院深圳先进技术研究院提出的SIAT-LLMD下肢运动数据集，系统地阐述了创新xLSTM架构和基础模型Lag-Llama在短期时序预测任务中涉及关节运动和动力学参数的实施与分析结果。研究为基于AI的医疗康复应用提供了新的见解，展示了先进模型架构和大规模模型在康复医学时序预测中的潜力。这些发现为未来个性化康复方案的应用奠定了理论基础，对于临床实践中定制化治疗干预的发展具有重大意义。
arXiv:2504.03798v1 宣告类型: cross
摘要：老年人口稳步增加，大部分老年人更倾向于居家养老而非入住护理设施。因此，支持这一不断增长的人口成为全球性的重大挑战。然而，实现成功的居家养老面临诸多挑战，需要考虑数据隐私、健康状况监测和居住环境等多个因素以改善健康结果。本文提出了一种用于老年人家庭安装的非侵入式传感器系统。通过传感器采集的数据，该系统构建了一个数字孪生，即家庭中事件和活动的虚拟表示。系统使用神经网络模型和决策规则来捕捉居民的活动和居住环境。该数字孪生能够通过提供有关居民健康状况的实际可行见解来实现持续的健康监测。我们的系统旨在低成本且保护隐私，以期为老年人提供绿色、安全的健康监测。我们成功在两个家庭中部署了该系统两个月，并且我们的研究结果表明，数字孪生技术在支持老年人独立生活方面具有可行性和有效性。本研究展示了我们的系统可能通过实现个性化干预措施（如生活方式调整、医疗治疗或住宅环境的调整）来改善健康结果，从而彻底改变老年人照护。
arXiv:2504.03794v1 类型: cross
摘要: 随着大型语言模型不断扩展，它们日益增长的计算和存储需求为实际部署带来了重大挑战。在这项工作中，我们研究了基于Transformer的模型中的冗余，并提出了一种基于熵的剪枝策略，以提高效率同时保持性能。实证分析表明，隐藏表示的熵在早期块中减少，但在大多数后续块中逐渐增加。这一趋势表明，熵是衡量计算块中信息丰富度的有效指标。与主要捕捉几何关系的余弦相似性不同，熵直接量化不确定性及信息内容，使其成为更可靠的剪枝标准。广泛的实验表明，我们的基于熵的剪枝方法在减少模型大小的同时保持准确性，为高效模型部署提供了有前途的方向。
arXiv:2504.03793v1 类型:交叉
摘要：粒子加速器是高功率复杂的机器。为了确保这些机器的不间断运行，需要同步上千件设备，这涉及到设计、优化和控制、异常检测以及机器保护等多个挑战。凭借近期的发展，机器学习 (ML) 在更先进的预测、优化和控制方面展现出潜力。虽然已经为粒子加速器的多个应用开发了基于 ML 的解决方案，但由于可测量和不可测量参数的变化导致的数据分布漂移，仅有少数解决方案得到了部署，并且很少有长期使用的情况。在本文中，我们确定了粒子加速器中的一些关键领域，其中持续学习可以在数据分布漂移的情况下保持 ML 模型性能。特别是，我们首先讨论了现有 ML 在粒子加速器中的应用及其因数据分布漂移带来的局限性。接下来，我们审查现有的持续学习技术，并调查它们在加速器中应对数据分布漂移的潜在应用。通过识别在应用持续学习时的机会和挑战，本文旨在开辟一个新的研究领域，并激发更多针对粒子加速器的可部署持续学习的研究努力。
arXiv:2504.03792v1 类型: cross
摘要：准确预测时空网络流量对于现代通信系统中的动态管理计算资源和最小化能耗至关重要。尽管时空流量预测已经得到了广泛的研究关注，但进一步提高预测准确性和计算效率仍然是必要的。特别是，现有的基于分解的方法或混合架构在捕获局部和全局特征相关性时往往会产生较大的计算开销，因此需要优化准确性和复杂性的新方法。在本文中，我们提出了一种高效的时空网络流量预测框架——DP-LET，该框架由数据处理模块、局部特征增强模块和基于变换器的预测模块组成。数据处理模块用于高效地去除网络数据噪声和空间解耦。相比之下，局部特征增强模块利用多个时序卷积网络（TCNs）来捕获细粒度的局部特征。同时，预测模块利用变换器编码器来建模长期依赖关系并评估特征的相关性。在实际的蜂窝网络流量预测案例研究中，DP-LET 的实用性得到了验证，它保持了较低的计算复杂性，同时实现了最先进的性能，与基线模型相比，MSE 下降了 31.8%，MAE 下降了 23.1%。