arXiv:2505.00439v1 交叉公告类型: cross
摘要: 最近的研究表明，可以学习出在各个领域内都能成功的行动策略。从较小的训练实例到较大的测试实例的扩展行为是关键目标；使用比训练实例更大的验证实例是实现这一目标的关键之一。先前的工作使用固定大小的验证集。在这里，我们介绍了一种动态生成验证集的方法，该方法可以在运行时不断生成验证实例，只要生成的实例具有信息性和可行性就不断增大实例大小。我们还介绍了评估扩展行为的精炼方法，通过系统地生成测试实例来保证每个实例大小下的覆盖性能具有给定的置信度。在实验中，动态验证集在所使用的9个领域中均提高了GNN策略的扩展行为。
arXiv:2505.00409v1 Announce Type: cross
摘要：自动脱敏技术对于病理语音数据的伦理共享至关重要，但它们的感知后果仍未受到充分研究。本研究提出了对脱敏病理语音进行全面的人本分析，使用了一种结构化的感知协议，涉及来自不同语言、临床和技术背景的十名德语使用者，包括母语者和非母语者。参与者评估了来自180名讲者的脱敏原话片段，这些讲者包括唇裂和腭裂、运动性失语症、构音障碍、发声障碍和年龄匹配的健康对照组。语音使用先进的自动脱敏方法进行了脱敏（错误率范围为30%-40%）。参与者在零样本（单次暴露）和少量样本（重复暴露）条件下完成了图灵风格的辨别和质量评分任务。总体而言，辨别准确率较高（零样本91%；少量样本93%），但不同障碍之间存在差异（重复测量方差分析：p=0.007），辨别准确率范围从96%（运动性失语症）到86%（发声障碍）。脱敏一致地降低了感知质量（从83%降至59%，p<0.001），具有特定于病理的降级模式（单因素方差分析：p=0.005）。母语者对原始语音的评分略高于非母语者（Δ=4%，p=0.199），但在脱敏后这种差异几乎消失（Δ=1%，p=0.724）。未观察到显著的性别偏见。最关键的是，人类感知结果与自动隐私或临床效用度量标准之间没有相关性。这些结果强调了需要基于听众反馈、特定于障碍和上下文的脱敏策略的重要性，这些策略在保护隐私的同时保持可解释性、交流功能和诊断效用，特别是在儿童等弱势群体中。
arXiv:2505.00402v1 类型: cross
摘要：提前预测快递员的配送准时率对于物流行业至关重要，使公司能够采取预防措施以确保配送服务的正常运行。在疫情等异常情况下，这一预测变得更加关键，因为此时快递员的配送准时率会显著下降且波动性很大。现有的研究较少关注物流场景。此外，许多专注于异常场景下预测任务的研究未能明确建模异常事件，例如将外部因素与其他特征同等对待，导致大量信息丢失。进一步，由于某些异常事件发生的频率较低，传统的数据驱动方法在这些场景下表现不佳。为应对这些问题，我们提出了一种深度空间-时间注意力模型，名为DeepSTA。具体而言，为避免信息丢失，我们设计了一种异常时空学习模块，采用递归神经网络建模事件信息。此外，我们利用Node2vec建模道路区域之间的关联性，并采用图神经网络和长短期记忆网络捕捉快递员的空间-时间依赖性。为解决异常情况下训练数据不足的问题，我们提出了一个异常模式注意力模块，通过注意力机制利用记忆网络存储快递员的异常特征模式。2022年新冠疫情期间的真实物流数据集上的实验显示，该模型在MAE上优于最佳基线12.11%，在MSE上优于最佳基线13.71%，证明了其在多个竞争力相当的基线中的优越性能。
arXiv:2505.00375v1 宣告类型：交叉
摘要：准确估计包裹递送时间对于物流行业至关重要，这使得合理的工作分配和准时的服务保证成为可能。在混合作物物流场景中，这一需求变得尤为重要，因为快递员在同一时间不仅需要处理大量的递送任务，还需要处理较少的取件任务。然而，大多数相关研究均将快递员在决策过程中取件和递送的模式视为同等重要，忽视了由于取件的时间限制比递送更为严格，取件对快递员决策的影响比递送更大。在这种背景下，我们面临三个主要挑战：1）多个时空因素相互交织，显著影响了快递员的递送行为；2）取件虽然有更为严格的时间要求但数量有限，这使得建模其对快递员递送过程的影响变得颇具挑战性；3）快递员的时空移动模式是影响他们递送行为的关键因素，但这一因素的探索尚显不足。为解决这些问题，我们提出了TransPDT，这是一种基于Transformer的多任务包裹递送时间预测模型。我们首先采用Transformer编码器架构来捕捉快递员历史行程路线和待递送包裹集的时空依赖性。然后，我们设计了模式记忆，通过注意力机制学习不平衡数据集中取件的模式。我们也将路线预测设定为递送时间预测的辅助任务，并在预测中纳入先验的快递员时空移动规律。在实际产业规模数据集上的广泛实验表明了我们方法的优越性。基于TransPDT的系统已内部部署于京东物流，用于北京每天跟踪处理成千上万个包裹的2000多名快递员。
arXiv:2505.00367v1 类型: cross
摘要: 认知歪曲是指可能导致青少年出现抑郁和焦虑等心理健康问题的消极思维模式。之前使用自然语言处理（NLP）的研究主要集中在小规模的成人数据集上，对青少年的研究有限。本研究引入了KoACD，这是第一个包含108,717个实例的韩国青少年认知歪曲的大规模数据集。我们应用了多大语言模型（LLM）协商方法来细化歪曲分类，并通过两种方法生成合成数据：认知澄清以提高文本清晰度，认知平衡以呈现多样化的歪曲表示。通过语言模型和专家评估的验证显示，尽管语言模型能够对带有明确标记的歪曲进行分类，但在依赖上下文的推理中表现不佳，而人类评估者显示出更高的准确性。KoACD旨在增强未来关于认知歪曲检测的研究。
arXiv:2505.00365v1 宣告类型: cross
摘要：终端设备的普及导致了分布式计算范式，在这种范式中，部署在设备上的机器学习模型不断处理这些设备生成的多样数据。这种数据的动态性，表现为持续变化或数据漂移，对部署在设备上的模型构成了重大挑战。为了解决这一问题，提出了持续学习（CL），使机器学习模型能够逐步更新其知识并减轻遗忘灾难。然而，传统的中心化CL方法由于隐私和数据体积问题不适合终端设备。在这一背景下，联邦持续学习（FCL）作为一种有前景的解决方案浮现出来，保留用户数据本地化，同时通过协作更新增强模型。针对持续学习中有限的存储资源、任务转换检测的低自主性以及FCL场景中应对新对抗任务的难度，我们提出了一种新型的FCL框架，名为SacFL。SacFL采用编码器-解码器架构来分离任务稳健性和任务敏感性组件，通过保留轻量级的任务敏感性组件，显著减少了资源受限终端设备的存储需求。此外，SacFL利用对比学习引入了一种自主数据漂移检测机制，使其能够辨别是否出现了新任务以及该任务是否是良性任务。这一能力最终允许设备在无需额外信息的情况下自主触发持续学习或攻击防御策略，这更适合终端设备。在Cifar100和THUCNews等多个文本和图像数据集上进行的全面实验验证了SacFL在类增量和域增量场景中的有效性。此外，我们还开发了一个演示系统来验证其实用性。
arXiv:2505.00359v1 消息类型: cross
摘要：在数据流聚类中，流聚类算法的系统理论仍然相对匮乏。最近，基于密度的方法引起了关注。然而，现有的算法在同时处理任意形状、多密度、高维数据时，保持强大的异常值抵抗力方面存在困难。当数据密度复杂变化时，聚类质量会显著下降。本文提出了一种基于新型紧邻概念的聚类算法，并引入了基于骨架集的数据流聚类理论。基于这些理论，本文开发了一种新的方法——TNStream，一种完全在线算法。该算法基于局部相似性自适应地确定聚类半径，并通过微聚类总结多密度数据流的演变。然后应用基于紧邻的聚类算法，形成最终聚类。为了在高维情况提高效率，本文采用了局部敏感哈希（LSH）来结构化微聚类，解决了存储k最近邻的挑战。TNStream使用不同的聚类标准在合成和真实世界数据集上进行了评估。实验结果表明，它在提高多密度数据的聚类质量方面非常有效，并验证了提出的数据流聚类理论。
arXiv:2505.00358v1 公告类型：交叉
摘要：数据混合策略成功地减少了训练语言模型的成本。尽管有希望，但这些方法存在两个缺陷。首先，它们依赖于预定义的数据领域（例如，数据来源、任务类型），这可能导致无法捕捉到关键的语义细微差别，从而在性能上有所缺失。其次，这些方法在计算上会产生不可行的扩展性问题，随着领域数量的增加而增加。我们通过R&B框架来解决这些挑战，该框架基于语义相似性重新划分训练数据（Regroup）以创建更细粒度的领域，并通过利用训练过程中获得的领域梯度诱导的Gram矩阵来高效优化数据组成（Balance）。与先前的工作不同，R&B消除了获取评价信息（如损失或梯度）所需额外计算的需求。我们在标准正则条件下分析了这种技术，并提供了理论洞察，证明了R&B在与非适应性混合方法相比的有效性。实验上，我们展示了R&B在五个不同的数据集上的有效性，这些数据集涵盖了从自然语言到推理和多模态任务的广泛类型。通过仅增加0.01%的额外计算开销，R&B匹配或超过了最新数据混合策略的性能。
arXiv:2505.00350v1 安全性驱动类型:横跨
摘要：在资源受限的设备上部署深度神经网络需要有效的模型压缩策略，以恰当平衡模型大小的减少与性能的保留。本研究介绍了一种新颖的安全性驱动的量化框架，该框架利用保留集系统地修剪和量化神经网络权重，从而优化模型复杂性而不牺牲准确性。提出的这种方法在卷积神经网络（CNN）和基于注意力的语言模型上进行了严格的评估，显示出其在不同架构范式中的适用性。实验结果表明，与原始未量化模型相比，我们的框架在测试准确率上可提高2.5%，同时保持初始模型大小的60%。与传统量化技术相比，我们的方法不仅能通过消除参数噪声和保留关键权重来增强泛化能力，还能减少方差，从而确保关键模型特征的保留。这些发现突显了安全性驱动量化作为在安全优化深度学习模型的一种稳健可靠策略的有效性。我们的框架的实现和全面的实验评估已公开在GitHub上。
arXiv:2505.00347v1 优化器类型: 跨域
摘要：模型规模的爆炸性增长导致了训练/微调成本的持续上升，特别是在需要保持辅助信息（甚至为模型大小的2倍）的有状态优化器领域，以实现最优收敛。因此，在本文中，我们提出了一种全新的优化器类型，该优化器通过超低精度量化携带极其轻量级的状态信息。尽管先前的努力在8位或4位量化方面取得了一定的成功，但我们的方法使优化器能够在每状态元素低至3位，甚至2位的精度下运行。这一成就主要是通过解决两个关键挑战实现的：无符号量化中的信号淹没问题，导致状态动力学不变，以及有符号量化中梯度方差的快速增加，导致错误的下降方向。理论分析建议针对前者使用定制的对数量化，并针对后者使用特定精度的动量值。因此，所提出的SOLO在实现显著的内存节省（在训练一个7B模型时约为45 GB）的同时，几乎无精度损失。我们希望SOLO能够有助于克服计算资源瓶颈，从而促进基础研究的更广泛接入。