机器翻译系统中的性别偏见带来了重大挑战,往往会导致有害刻板印象的强化。尤其是在劳动领域,职业经常被错误地与特定性别联系在一起,这种偏见会加剧传统的性别刻板印象,对社会产生重大影响。解决这些问题对于确保机器翻译系统公平准确至关重要。本文提出了一种通过创建 GOSt-MT(机器翻译的性别和职业统计)知识图来研究职业相关性别偏见的新方法。GOSt-MT 集成了来自现实世界劳动数据和机器翻译训练中使用的文本语料库的综合性别统计数据。该知识图允许对英语、法语和希腊语的性别偏见进行详细分析,便于识别持续存在的刻板印象和需要干预的领域。通过提供一个结构化的框架来理解职业在劳动力市场和机器翻译系统中的性别化方式,GOSt-MT 有助于使机器翻译系统更加公平,并减少自动翻译中的性别偏见。
近年来,单图像超分辨率的进步主要得益于 token 混合器和 Transformer 架构。WaveMixSR 利用 WaveMix 架构,采用二维离散小波变换进行空间 token 混合,在超分辨率任务中取得了优异的性能,并具有显著的资源效率。在本研究中,我们提出了 WaveMixSR 架构的增强版本,该版本通过 (1) 使用像素洗牌操作替换传统的转置卷积层,以及 (2) 针对更高分辨率任务 ($4\times$) 实现多级设计。我们的实验表明,我们的增强模型——WaveMixSR-V2——在多个超分辨率任务中优于其他架构,在 BSD100 数据集上取得了最先进的性能,同时还消耗更少的资源,展现出更高的参数效率、更低的延迟和更高的吞吐量。我们的代码可在 https://github.com/pranavphoenix/WaveMixSR 获取。
选择一个最能模拟人工标注者的自动指标通常并非易事,因为“最能模拟”没有明确的定义。需要一个元指标来比较人工判断和自动指标得分,而指标排名取决于元指标的选择。我们提出了软成对精度 (SPA),这是一种新的元指标,它建立在成对精度 (PA) 的基础上,但将人工判断和指标得分的统计显著性纳入其中。我们表明,SPA 在评估中使用系统/段数的变化方面比 PA 更稳定。我们还表明,PA 只能对指标分配一小部分不同的输出值,这会导致许多指标被人工分配完全相同的 PA 分数。我们证明 SPA 解决了这个问题。最后,我们表明,SPA 比 PA 更具区分性,可以生成指标之间更具统计显著性的比较。SPA 被选为 2024 年 WMT 指标共享任务的官方系统级指标。
影响函数是将预测以原则性的方式归因于训练数据的一种标准工具,广泛应用于数据估值和公平性等应用。在这项工作中,我们提出了操纵基于影响的归因的现实激励措施,并研究了这些归因是否可以被对手 *系统地* 篡改。我们表明,对于在 ResNet 特征嵌入和标准表格公平数据集上训练的逻辑回归模型,这确实是可能的,并提供了具有向后友好实现的高效攻击。我们的工作对基于影响的归因在对抗环境中的可靠性提出了质疑。代码可在以下地址获取:\url{https://github.com/infinite-pursuits/influence-based-attributions-can-be-manipulated}
控制自主机器人和复杂自动化应用的底层框架是能够调度感知和控制任务的操作系统 (OS),以及向其他机器人同行和远程云计算机提供实时数据通信。本文介绍了 CyberCortex AI,这是一种旨在支持异构 AI 驱动的机器人和复杂自动化应用的机器人操作系统。CyberCortex AI 是一个去中心化的分布式操作系统,它使机器人能够相互通信,以及与云中的高性能计算机 (HPC) 通信。来自机器人的感官和控制数据被流式传输到 HPC 系统,目的是训练 AI 算法,这些算法随后部署在机器人上。机器人的每个功能(例如感官数据采集、路径规划、运动控制等)都在一个名为 DataBlock 的过滤器中执行,这些过滤器通过互联网共享,其中每个过滤器在机器人本身本地或远程在不同的机器人系统上计算。数据通过一个名为时间可寻址内存 (TAM) 存储和访问,它充当每个过滤器输入和输出之间的网关。CyberCortex AI 具有两个主要组件:i) CyberCortex AI 推理系统,它是运行在机器人嵌入式硬件上的 DataBlock 的实时实现,以及 ii) CyberCortex AI 道场,它运行在云中的 HPC 计算机上,用于设计、训练和部署 AI 算法。我们使用两个协作机器人应用对所提出的方法进行了定量和定性性能分析:i) 基于 Unitree A1 腿式机器人和 Anafi Parrot 4K 无人机的森林火灾预防系统,以及 ii) 使用 CyberCortex AI 进行协作感知和运动控制的自动驾驶系统。
语音流畅度建模是口语学习和语音治疗的核心模块。然而,目前存在三个挑战。首先,现有的最先进的解决方案\cite{lian2023unconstrained-udm, lian-anumanchipalli-2024-towards-hudm} 可扩展性差。其次,缺乏大规模的语音流畅度语料库。第三,缺乏有效的学习框架。本文提出了一种名为“可扩展语音流畅度建模 (SSDM)”的框架,该框架 (1) 采用发音手势作为可扩展的强制对齐;(2) 引入连接主义子序列对齐器 (CSA) 来实现流畅度对齐;(3) 引入一个名为 Libri-Dys 的大规模模拟语音流畅度语料库;(4) 利用大型语言模型 (LLM) 的强大功能,开发了一个端到端的系统。我们期望 SSDM 成为语音流畅度建模领域的标准。演示地址为\url{https://berkeley-speech-group.github.io/SSDM/}。
时空预测在交通规划、能源管理和气候监测等众多现实应用中至关重要。本研究旨在利用预训练语言模型(PLM)的推理和泛化能力,以更有效地进行时空预测,尤其是在数据稀缺的情况下。然而,最近的研究发现,主要在文本数据上训练的 PLM 在处理数值时间序列中复杂的相关性时往往会失效,从而限制了它们理解时空数据的有效性。为了弥合这一差距,我们提出了 RePST,一个针对时空预测的物理感知 PLM 重编程框架。具体而言,我们首先提出了一种物理感知分解器,它自适应地将空间相关的时序分解为可解释的子组件,这使得 PLM 能够通过分治策略理解复杂的时空动态。此外,我们提出了一种选择性离散重编程方案,该方案引入了扩展的时空词汇空间,将时空序列投影到离散表示中。该方案最大限度地减少了重编程过程中的信息损失,并丰富了 PLM 产生的表示。在真实世界数据集上的大量实验表明,所提出的 RePST 优于 12 种最先进的基线方法,尤其是在数据稀缺的情况下,突出了 PLM 在时空预测方面的有效性和卓越的泛化能力。
本文旨在解决准确预测太阳能的迫切需求,这对于电网的有效整合至关重要。我们研究了空气质量指数和天气特征对太阳能发电的影响,并采用了先进的机器学习和深度学习技术。我们的方法使用时间序列建模,并巧妙地利用了幂变换归一化和零膨胀建模。各种机器学习算法和基于卷积二维长短期记忆模型的深度学习模型被应用于这些变换,以进行精确预测。结果强调了我们方法的有效性,证明了空气质量指数和天气特征提高了预测精度。我们使用卷积二维长短期记忆模型获得了 0.9691 的 $R^2$ 得分、0.18 的 MAE 和 0.10 的 RMSE,展示了幂变换技术在增强太阳能发电时间序列预测方面的创新性。这些结果有助于我们的研究为空气质量指数、天气特征和深度学习技术在太阳能预测中的协同作用提供宝贵的见解。
学习连续时间动态图(CTDG)的有效表示是一个挑战,因为需要同时跨越节点交互的长时间历史并捕捉细微的时间细节。具体而言,出现了两个问题:(1)对更长时间历史进行编码需要更多的计算资源,因此CTDG模型必须保持低计算复杂度以确保效率;(2)同时,需要更强大的模型来识别和选择更长时间历史提供的扩展上下文中最重要的时序信息。为了解决这些问题,我们提出了一种名为DyGMamba的CTDG表示学习模型,该模型源于流行的Mamba状态空间模型(SSM)。DyGMamba首先利用节点级SSM对历史节点交互序列进行编码。然后,另一个时间级SSM被用来利用隐藏在历史图中的时间模式,其输出被用来动态地从交互历史中选择关键信息。我们在动态链接预测任务上对DyGMamba进行了实验验证。结果表明,我们的模型在大多数情况下都达到了最先进的水平。DyGMamba在计算资源方面也保持了较高的效率,这使得在有限的计算预算下捕捉长时间依赖关系成为可能。
随机神经网络的无限宽度极限会导致神经网络作为高斯过程 (NNGP)(Lee 等人 [2018]),其特征在于与任务无关的核。人们普遍认为,更大的网络宽度有助于提高泛化能力(Park 等人 [2019])。然而,这项工作通过研究贝叶斯并行分支图神经网络 (BPB-GNN) 的窄宽度极限来挑战这一观点,该架构类似于残差网络。我们证明,当 BPB-GNN 的宽度远小于训练样本的数量时,每个分支都表现出更强大的学习能力,这是因为内核重归一化中分支的对称性被打破。令人惊讶的是,BPB-GNN 在窄宽度极限下的性能通常优于或与在偏差受限场景下的宽宽度极限下达到的性能相当。此外,窄宽度极限下每个分支的读出范数大多独立于架构超参数,但通常反映数据的本质。我们的结果描述了一般并行分支网络的新定义的窄宽度状态。