arXiv:2405.10347v3 宣告类型: replace-cross
摘要：智慧城市中监控摄像头的日益普及以及在线视频应用的激增，大大提升了公众安全和隐私保护的关注度，这促使自动化视频异常检测（VAD）成为人工智能（AI）社区内的基础研究任务。随着深度学习和边缘计算的进步，VAD 已取得显著进展，并与智能城市的新兴应用和视频互联网紧密结合，这已超越了传统的算法工程研究范围，转向可部署的视频异常检测网络系统（NSVAD），这是在AI、IoVT和计算领域交叉探索的实用热点。本文概述了各种以深度学习驱动的VAD方法的基础假设、学习框架和适用场景，为NSVAD新手提供了一个详尽的教程。此外，本文通过回顾最近的进展和典型解决方案，解释核心概念，并汇总了在 https://github.com/fdjingliu/NSVAD 可获取的研究资源。最后，本文预测了未来的发展趋势，并讨论了如何通过结合AI和计算技术来解决现有研究挑战并促进开放机遇，为未来的研究人员和工程师提供有价值的指导。
arXiv:2404.07900v4 公告类型：替换交叉
摘要：LLM在各种任务和领域中的广泛应用已经促使这些模型与人类价值观和偏好相一致。鉴于人类价值对齐的各种方法，部署和采用这些LLM之前，迫切需要理解注入这些LLM的人类价值观的范围和性质。我们提出了UniVaR，这是一种高维神经表示方法，用于表示LLM中的符号人类价值分布，与模型架构和训练数据正交。这是一种连续且可扩展的表示方法，通过8个LLM的价值相关输出自我监督，并在15个开源和商用LLM上进行评估。通过UniVaR，我们可视化并探讨了LLM在25种语言和文化中如何优先处理不同的价值观，揭示了人类价值观与语言建模之间的复杂交互关系。
arXiv:2403.10039v2 宣告类型: replace-cross
摘要：无监督的基于视频的手术器械分割有可能通过减少对手动标注的依赖来加速机器人辅助手术的采用。然而，内窥镜视频中光学流动的一般低质量对依赖大量运动线索的无监督方法构成了巨大挑战。为了克服这一限制，我们提出了一种新颖的方法，该方法准确地指出了运动边界，即突然流速变化的区域，同时选择性地丢弃全局质量低的流速帧，并适应变化的运动模式。在EndoVis2017 VOS和EndoVis2017挑战数据集上的实验表明，我们的方法分别实现了0.75和0.72的均值交并比（mIoU），有效地缓解了由次优光学流动带来的限制。这使得在临床环境中能够提供更可扩展和稳健的手术器械分割解决方案。该代码将公开发布。
arXiv:2402.18205v5 公告类型: replace-cross
摘要：广泛的软件系统产生的日志是监控系统行为的关键。先进的日志分析有助于检测、告警和诊断系统故障。日志解析，即把原始日志消息转换为结构化模板，是日志分析自动化的关键阶段。现有的日志解析器由于依赖于人工制定的规则，无法正确识别模板。此外，这些方法更多地关注统计特征，而忽视了日志消息中的语义信息。为了解决这些挑战，我们引入了一种前沿的日志解析框架 Entropy Sampling and Chain-of-Thought Merging (\model{})。具体来说，为了摒弃繁琐的手动规则，我们提出了一种由信息熵启发的新抽样方法，该方法能够高效地聚类典型日志。此外，为了增强日志模板的合并，我们为大型语言模型（LLMs）设计了一种链式推理方法。大型语言模型展现了卓越的语义理解能力，并能巧妙地区分参数和不变词。我们在大规模公开数据集上进行了实验。广泛的评估表明，\model{} 达到了最先进的性能和令人印象深刻的效率。代码可在 https://github.com/zwpride/lemur 获取。
arXiv:2401.13652v4 通知类型: 替换-交叉
摘要: 在本文中，我们提出了一种检测非连续函数的不连续界面的新颖方法。该方法利用了图指导神经网络（GINNs）和稀疏网格来解决在维度大于3的域中检测不连续性的问题。GINNs 通过在稀疏网格上识别有问题的点，并利用网格上的图结构，实现高效且准确的不连续性检测性能。我们还介绍了一种通用的基于稀疏网格的检测器递归算法，其具有收敛特性且易于应用。在维度为 n = 2 和 n = 4 的函数上的数值实验表明，GINNs 在检测不连续性界面方面具有高效性和稳健的泛化性能。值得注意的是，训练后的 GINNs 具有可移植性和灵活性，允许将其集成到各种算法中，并在用户之间共享。
arXiv:2310.16472v3 声明类型: replace-cross
摘要: 我们研究了语义来源——一个最初在关系数据库环境中定义的成功框架——在描述逻辑中的应用。在此上下文中，本体公理被注释为交换半环的元素，并且这些注释通过反映它们是如何推导出来的过程传播到本体结论中。我们为一种涵盖几种轻量级描述逻辑的语言定义了一种语义来源语义，并展示了其与本体注释具有特定类型注释（如模糊程度）的语义的关系。我们表明，在某些半环限制下，该语义满足期望的性质（如扩展数据库中定义的语义来源）。然后我们关注众所周知的为什么语义来源，对于这种语义来源，我们研究了与断言或合取查询答案的语义来源相关的问题的复杂性。最后，我们考虑了两种更受限的情况，分别对应数据库环境中所谓的正布尔语义来源和踪迹。对于这些情况，我们展示了与描述逻辑中著名的解释概念的关系，并完成了复杂性分析。作为一个次要贡献，我们提供了保证可处理推理的 \(\mathcal{ELHI}_\bot\) 本体的条件。
arXiv:2310.00116v4 Announce Type: replace-cross
摘要：为了提高深度分类器对抗对抗扰动的鲁棒性，已经提出了许多方法，例如设计具有更好鲁棒性属性的新架构（例如，有界Lipschitz网络），或者修改训练过程本身（例如，最小最大优化、约束学习或正则化）。然而，这些方法可能无法有效增加输入（特征）空间中的信心边际。因此，越来越多的研究兴趣转向开发可以直接操作输入空间决策边界的训练程序。在本文中，我们在此类别最新进展的基础上，开发了一种鲁棒性训练算法，其目标是在不损害模型在脆弱方向上的Lipschitz常数的情况下，增加输出（logit）空间中的边际。我们展示了这两个目标可以直接促进输入空间中的更大边际。为此，我们开发了一种可扩展的方法，以准确且高效地计算神经网络的有保障的可微上界Lipschitz常数。相对准确的界防止过度正则化，并允许更直接地操纵决策边界。此外，我们的Lipschitz边界算法利用了激活层的单调性和Lipschitz连续性，由此产生的界可以用于设计具有可控制的Lipschitz常数的新层。在MNIST、CIFAR-10和Tiny-ImageNet数据集上的实验验证了我们提出的方法与最先进的方法相比取得了竞争力的改进结果。
arXiv:2305.02109v5 通知类型: 替换-交叉
摘要：联邦学习（FL）是物联网（IoT）网络中一种流行的分布式机器学习（ML）技术，在这种技术中，资源受限的设备协同训练ML模型的同时保持数据隐私。然而，在5G及未来无线网络上实现FL面临着由(i) 无线网络条件的动态变化和(ii) 系统中多种FL服务的共存引起的关键挑战。本文揭示了这两种由这些挑战引发的重要现象：资源的过度/不足分配和基于视角的负载均衡，这对物联网环境中FL的性能产生了显著影响。我们迈出了第一步，通过提出一种名为弹性FL（EFL）的新分布式ML架构来应对这些现象。EFL释放了Open RAN（O-RAN）系统的全部潜力，并引入了一种弹性资源分配方法来执行FL服务。此外，EFL构成了一种多时间尺度FL管理系统，引入了三种专门针对FL服务的网络控制功能，包括(i) 非实时（非-RT）系统描述符，用于训练基于ML的应用程序以预测系统和FL相关的动态和参数；(ii) 近实时FL控制器，用于处理O-RAN切片和移动性管理，以确保FL服务的无缝执行；(iii) FL MAC调度器，用于实时分配资源给各种FL服务的终端客户。最后，我们原型实现EFL以证明其在提高FL服务性能方面的潜力。
arXiv:2304.03271v5 宣布类型: replace-cross
摘要：人工智能(AI)日益增长的碳足迹已经受到了公众的审查。然而，AI同样重要的水足迹(抽水量和消耗量)却一直鲜有人关注。例如，训练微软最先进的美国数据中心中的GPT-3语言模型可以直接蒸发掉700,000升清洁淡水，但这样的信息却一直被保密。更为严重的是，到2027年，全球对AI的需求预计会导致42-66亿立方米的水资源抽取，这超过了4-6个丹麦国每年的总抽水量，或者相当于英国的一半。这令人担忧，因为淡水短缺已经成为最紧迫的挑战之一。为了应对全球水资源挑战，AI不仅应该承担社会责任，还必须率先垂范，解决自身的水足迹问题。在这篇论文中，我们提供了一种原则性的方法来估算AI的水足迹，并讨论了AI运行时水效率的独特空间-时间多样性。最后，我们强调，在解决碳足迹的同时，必须全面解决水足迹问题，以实现真正可持续的AI。
arXiv:2104.10586v5 通告类型: replace-cross
摘要: 为了应对深度神经网络对对抗样本的易感性，提出了对抗训练方法，通过内在最大化问题提供了一种安全的概念，该问题展现了一种嵌入在外层训练损失最小化中的高阶对手。为了在不同扰动类型下推广对抗鲁棒性，对抗训练方法被增强为具有改进的内在最大化方法，其包含了多个扰动的联合，例如各种 $\ell_p$ 范数约束的扰动。然而，改进的内在最大化在允许的扰动类型方面仅具有有限的灵活性。在本工作中，通过一个门控机制，我们将一组专家网络组装起来，每个专家网络要么经过对抗训练以应对特定的扰动类型，要么经过正常训练以在干净数据上提高准确率。门控模块动态地为每个专家分配权重，以在各种数据类型下实现更高的准确率，例如对抗样本、恶劣天气扰动和干净输入。为了应对混淆梯度问题，我们通过对抗训练方法同时对专家网络的最后一层全连接层进行微调，来训练门控模块。通过广泛的实验，我们展示了我们的鲁棒专家混合方法（MoRE）能够灵活地集成广泛的鲁棒专家，并且具有出色的性能。