近年来，大型语言模型（LLMs）在时间序列分析中展现了巨大的潜力，通过捕捉复杂的依赖关系并提升预测性能。然而，现有方法在模态对齐方面往往表现不佳，导致结果不尽如人意。为应对这些挑战，我们提出了一种新颖的框架——TS-TCD，该框架引入了一个全面的三层跨模态知识蒸馏机制。与以往专注于孤立对齐技术的工作不同，我们的框架系统地整合了以下内容：1）动态自适应门控用于输入编码和对齐，确保时间序列令牌与QR分解的文本嵌入之间的一致性对齐；2）层级对比学习，对齐模态间的中间表示以减少特征层面的差异；3）最优传输驱动的输出对齐，通过细粒度的跨模态对齐确保一致的输出预测。在基准时间序列数据集上的广泛实验表明，TS-TCD达到了最先进的水平，在准确性和鲁棒性方面均优于传统方法。
大型视觉-语言模型（LVLM）集成了计算机视觉和自然语言处理技术，具有巨大的应用潜力。然而，这些模型在推理过程中需要大量的资源。自适应注意力技术可以动态减少计算冗余，从而提高效率。尽管当前的自适应注意力方法显著降低了基于Transformer的语言模型的内存需求，但它们并未针对LVLMs进行优化。我们观察到，LVLMs从远程图像标记和局部文本标记生成响应，并且不同模态具有不同的注意力模式。这一观察启发我们分别管理每种模态的注意力。具体而言，对于视觉输入，我们存储可能有用信息的缓存，但仅计算最关键的部分。对于语言输入，我们更关注局部信息。基于我们对视觉-语言注意力模式的观察和分析，我们开发了A-VL，一种即插即用的自适应注意力，专为LVLM推理设计。在三个视觉-语言任务和五个数据集上的广泛评估显示了我们设计的有效性。我们的方法A-VL在减少内存使用和计算负载方面优于现有的自适应注意力方法，且不影响性能。
本文介绍了华为翻译服务中心（HW-TSC）在第20届中国机器翻译大会（CCMT 2024）机器翻译任务中的提交内容。我们参与了双语机器翻译任务和多领域机器翻译任务。对于这两项翻译任务，我们采用了正则化丢弃、双向训练、数据多样化、前向翻译、后向翻译、交替训练、课程学习以及转导集成学习等训练策略，基于深度Transformer-big架构训练神经机器翻译（NMT）模型。此外，为了探索大型语言模型（LLM）是否能帮助提升NMT系统的翻译质量，我们使用监督微调训练了llama2-13b作为自动后编辑（APE）模型，以改进NMT模型在多领域机器翻译任务中的翻译结果。通过运用这些策略，我们的提交在最终评估中取得了有竞争力的成绩。
arXiv:2409.14839v1 公告类型: 新提交 摘要: 在人工智能决策支持系统（AI-DSS）的背景下，我们认为满足伦理和可解释人工智能（XAI）的需求在于开发AI-DSS，以向人类决策者提供三种基于人类理解的解释：理由、反事实和置信度，我们称之为RCC方法。我们首先回顾了当前的实证XAI文献，这些文献研究了生成模型解释的各种方法（如LIME、SHAP、Anchors）、模型感知可信度以及最终用户准确性之间的关系。我们展示了当前关于构成良好人类理解理由的理论如何要么不足以解释这一证据，要么未能提供合理的伦理开发建议。因此，我们提出了一种新的人机交互理论：认识论准伙伴关系（EQP）理论。最后，我们论证了采用EQP的动机，并展示了它如何解释实证证据、提供合理的伦理建议，并意味着采用RCC方法。
本研究介绍了MICSim，一个开源的预电路仿真器，专为混合信号计算内存（CIM）加速器的芯片级软件性能和硬件开销的早期评估设计。MICSim采用模块化设计，便于多层次协同设计和设计空间探索。从最先进的CIM仿真器NeuroSim模块化而来，MICSim提供了一个高度可配置的仿真框架，支持多种量化算法、多样化的电路/架构设计以及不同的内存设备。这种模块化方法还使得MICSim能够有效地扩展以适应新设计。MICSim原生支持在Python中评估加速器的软件和硬件性能，利用流行的PyTorch和HuggingFace Transformers框架，适用于CNN和Transformer网络。这些功能使得MICSim在模拟不同网络时具有高度的适应性和用户友好性。本研究展示了MICSim可以轻松结合优化策略进行设计空间探索，并用于芯片级Transformer CIM加速器的评估。此外，MICSim通过本文提出的基于统计的平均模式，可以实现对NeuroSim的9倍至32倍的加速。
边缘计算因其能够减少通信延迟并实现实时处理而日益受到重视，这促进了高性能、异构片上系统解决方案的兴起。尽管当前的方法通常涉及缩小现代硬件规模，但这些平台上的神经网络工作负载的性能特征可能会有显著差异，尤其是在并行处理方面，这对边缘部署至关重要。为了解决这一问题，我们进行了一项全面的研究，比较了各种线性代数和神经网络推理任务在仅CPU、CPU/GPU和CPU/NPU集成解决方案中的延迟和吞吐量。我们发现，神经处理单元（NPU）在矩阵向量乘法（快58.6%）和某些神经网络任务（视频分类和大语言模型快3.2倍）中表现出色。GPU在矩阵乘法（快22.6%）和LSTM网络（快2.7倍）中表现优异，而CPU则在点积等较少并行操作中表现出色。基于NPU的推理在低功耗下实现了延迟和吞吐量的平衡。基于GPU的推理虽然能耗更高，但在大维度和批量处理时表现最佳。我们强调了异构计算解决方案在边缘AI中的潜力，其中多样化的计算单元可以被战略性地利用，以提升准确和实时的推理能力。
本文介绍了华为翻译服务中心（HW-TSC）提交给WMT24通用机器翻译（MT）共享任务的情况，我们参与了英汉（en2zh）语言对。与往年工作类似，我们采用了正则化丢弃、双向训练、数据多样化、前向翻译、后向翻译、交替训练、课程学习以及转导集成学习等训练策略，基于深度Transformer-big架构训练神经机器翻译（NMT）模型。不同的是，我们还使用了继续预训练、监督微调以及对比偏好优化来训练基于大语言模型（LLM）的MT模型。通过使用最小贝叶斯风险（MBR）解码从多个假设中选择最终翻译，我们的提交在最终评估中取得了有竞争力的结果。
arXiv:2409.14784v1 公告类型: 新增 摘要: 随着人工智能的不断发展，它越来越能够仅通过一个大型模型处理广泛的视频分析任务。关键的基础技术之一是分割一切模型（SAM），它允许根据用户的输入提示即时确定视频分析任务。然而，在视频分析应用中实现实时响应对于用户体验至关重要，因为边缘设备的通信和计算资源有限，尤其是在用户可能通过添加或调整提示持续交互的情况下。本文提出了SAMEdge，一种新颖的边缘云计算架构，旨在支持边缘用户的SAM计算。SAMEdge在边缘和云端集成了新模块，以在延迟约束下最大化视觉提示和图像提示输入的分析准确性。它通过提供视觉提示转换算法和图像编码的高效工作负载分区来解决与提示编码和图像编码相关的资源挑战。SAMEdge通过扩展Meta AI的开源SAM项目实现。我们通过一个视觉导览应用的案例研究展示了SAMEdge的实际应用。我们的评估表明，SAMEdge在不同网络带宽和各种提示下显著提高了视频分析应用的准确性。
arXiv:2409.14672v1 公告类型: 新提交 摘要: 当前的指令调优语言模型仅使用文本偏好数据进行训练，因此通常无法满足其他模态（如语音）的独特需求。为了更好地将语言模型与语音领域对齐，我们探索了（i）基于广播行业最佳实践的提示策略和（ii）使用20K样本的新型语音偏好数据进行偏好学习，这些数据通过广泛的提示生成，涵盖了不同维度的语音适用性，并由听取响应对的标注者进行标注。人类和自动评估均显示，提示和偏好学习都能提高流行指令调优LLM的语音适用性。有趣的是，我们发现提示和偏好学习可以相辅相成；结合两者在头对头比较中取得了最佳胜率，平均在76.2%的比较中生成的响应优于或与基础模型持平。最后，我们分享了词汇、句法和定性分析，以展示每种方法如何有助于提高生成响应的语音适用性。
联邦域泛化（FedDG）旨在利用多域训练样本训练具有泛化能力的全局模型，以应对未见过的域。然而，由于固有的采样和时间限制，联邦学习网络中的客户端通常局限于单一的非独立同分布（non-IID）域。缺乏跨域交互和域内差异阻碍了域通用特征的学习，限制了现有FedDG（称为单源FedDG（sFedDG）问题）的有效性。为解决这一问题，我们提出了联邦全局一致性增强（FedGCA）方法，该方法引入了一个风格互补模块，以多样化的域风格增强数据样本。为确保增强样本的有效整合，FedGCA采用了全局引导的语义一致性和类别一致性，减轻了个别客户端内部语义和跨多个客户端类别之间的一致性问题。进行的广泛实验证明了FedGCA的优越性。