arXiv 论文列表

arXiv:2412.14566v3 通知类型: 替换-交叉 摘要：人工智能的快速发展凸显了其开发和实施中的关键挑战，主要原因是少数几家大型公司对人工智能的集中控制。这种权力集中加剧了人工智能模型中的偏见，这主要是由于治理和监督机制的不足。此外，这也限制了公众的参与，增加了对模型生成完整性的担忧。这种对数据和人工智能输出的垄断控制既威胁到了创新，也威胁到了公平的数据使用，因为用户无意中贡献的数据主要有利于这些公司。在此项工作中，我们提出了AIArena，这是一个基于区块链的去中心化人工智能训练平台，旨在通过链上激励机制实现人工智能的民主化和对齐。AIArena 创建了一个开放和协作的环境，参与者可以贡献模型和计算资源。其链上共识机制确保参与者根据其贡献获得公平的奖励。我们已在公共Base区块链Sepolia测试网上实例化并实现了AIArena，并且评估结果表明AIArena在实际应用中的可行性。

arXiv:2412.06845v3 声明类型: replace-cross 摘要：最近，大型语言模型（LLMs）经历了显著的转变，其流行度和能力迅速提升。领头的是像GPT-4和GPT-o1这样的专有LLM，它们因其出色的表现和多样性而受到人工智能社区的广泛关注。与此同时，诸如LLaMA之类的开源LLM也为LLM的不断流行做出了巨大贡献，这得益于它们的易于定制和部署。尽管开源LLM为创新和研究提供了前所未有的机会，但LLM的商业化却引发了关于透明度、可再现性和安全性的担忧。许多开源LLM未能满足基本的透明度要求，因为它们扣留了诸如训练代码和数据等关键组件，这可能阻碍对LLM的进一步创新。为解决这一问题，我们推出Moxin 7B，这是一个完全开源的LLM，我们遵循开放科学、开源、开放数据和开放访问的原则进行开发。我们发布了预训练代码和配置、训练和微调数据集以及中间和最终检查点，旨在为完全开源的LLM做出持续的承诺。在预训练并获得基础模型后，我们使用最先进的后训练框架和指令数据对Moxin Base模型进行微调，以获得Moxin Instruct模型。为了提高推理能力，我们进一步利用DeepSeek R1提取的链式思维数据对我们的Instruct模型进行微调，然后使用DeepSeek R1遵循的高效且有效的强化学习算法Group Relative Policy Optimization (GRPO)对模型进行微调，从而得到Moxin Reasoning模型。实验表明，我们的模型在零样本评估、少量样本评估和链式思维评估等各种评估中表现优异。

arXiv:2412.04942v2 宣告类型: replace-cross 摘要：在线仇恨言论仍然是边缘化社区的一个研究不足的问题，特别是对于包括互联网普及率不断提高的发展中社会在内的全球南方地区。本文旨在为以低资源语言为主要语言的社会中的边缘化社区提供一种隐私保护工具，以便他们能够过滤其母语中的不恰当内容，从而保护自己免受在线仇恨言论的影响。我们的贡献主要有两点：1）我们发布了 REACT（针对不同语境的响应仇恨言论数据集），这是一个包含多个目标群体和低资源语言的高质量、文化特定的仇恨言论检测数据集，由经验丰富的数据收集者精心收集；2）我们提出了一种基于联邦学习（FL）的少量样本仇恨言论检测方法，这是一种隐私保护的方法，通过在不同目标群体和语言上协作训练中心模型来应对各种挑战。通过在用户设备上保持训练的本地化，我们确保了数据隐私的同时充分利用了FL的集体学习优势。此外，我们还探索了针对特定目标群体进行个性化客户端模型，并对其性能进行了评估。我们的研究表明，FL在不同目标群体中具有整体有效性，并指出个性化作为一种有前景的方向。

arXiv:2411.18822v5 宣告类型: replace-cross 摘要: 我们介绍了一种新的自监督相对对比学习方法 RelCon，用于从可穿戴加速度计传感器训练运动基础模型。首先，训练一种可学习的距离度量来捕获动机相似性和领域特定的语义信息，如旋转不变性。然后，学习到的距离为我们提供了一对加速度计时间序列的语义相似度度量，我们使用这种度量来训练我们的基础模型以建模跨时间和跨主体的时间相对关系。该基础模型在来自87,376名参与者的10亿个片段上进行训练，并在包括人类活动识别和步态指标回归在内的多个下游任务中实现了最先进的性能。据我们所知，我们是第一个展示可穿戴设备运动数据的基础模型在不同评估任务中的泛化能力的研究。

arXiv:2411.17729v3 宣布类型: 替换-交叉 摘要: 我们提出了一种在时域内应用线性时不变系统（LTI）的矩阵转移函数的无条件稳定算法。用于模拟状态空间模型（SSMs）中长距离依赖性的LTI系统的状态矩阵具有接近1的特征值。如果m×m状态矩阵仅有一个特征值的绝对值稍大于1，标准的LTI系统递归定义就会变得不稳定。这可能发生在通过结构化矩阵近似状态矩阵以将矩阵-向量乘法的成本从O(m²)降低到O(m)或O(mlogm)时。我们引入了一种无条件稳定的算法，该算法通过在z域中用一个2^{N+1}-1次多项式近似有理转移函数，来实现任意用户选择的精度水平。使用时域级联实现，应用该转移函数计算L个状态所需的矩阵-向量乘法次数不超过2L（而标准递归需要L次矩阵-向量乘法）。然而，使用无条件稳定算法时，并不需要确保近似状态矩阵的所有特征值的绝对值严格小于1，即在期望的精度范围内，某些特征值的绝对值可能超过1。因此，该算法允许使用更广泛的结构化近似以降低矩阵-向量乘法的成本，并简要描述了几种可用于此目的的近似方法。

arXiv:2411.17459v3 宣告类型: replace-cross 摘要：视频变分自编码器（VAE）将视频编码到低维潜空间中，成为大多数潜视频扩散模型（LVDMs）的关键组成部分，以降低模型训练成本。然而，随着生成视频的分辨率和时长增加，视频VAE的编码成本成为训练LVDMs的限制性瓶颈。另外，大多数LVDMs采用的块级推理方法在处理长时视频时会导致潜空间的不连续性。解决计算瓶颈的关键在于将视频分解为不同的组件，并有效地编码关键信息。小波变换可以将视频分解为多个频域组件，并显著提高效率，因此我们提出了采用多级小波变换的Wavelet Flow VAE（WF-VAE），这是一种利用多级小波变换促进低频能量流入选潜表示的自编码器。此外，我们引入了一种称为因果缓存的方法，该方法在块级推理过程中保持潜空间的完整性。与其他最先进的视频VAE相比，WF-VAE在PSNR和LPIPS指标上表现更优，实现了2倍更高的吞吐量和4倍更低的内存消耗，同时保持了竞争力的重构质量。我们的代码和模型可在https://github.com/PKU-YuanGroup/WF-VAE 上获取。

arXiv:2411.04168v4 公告类型：替换-交叉 摘要：我们介绍了一种新颖的状态空间架构，有效地利用空间和频率信息，增强扩散模型在图像生成任务中对输入图像局部特征的归纳偏置。尽管状态空间网络，包括Mamba，这是一种革命性的循环神经网络进步，通常从左到右扫描输入序列，但在处理图像数据时，它们在设计有效的扫描策略方面面临困难。我们的方法表明，将小波变换整合到Mamba中，增强了对视觉输入局部结构的意识，并通过将频率解耦成小波子带，分别表示低频和高频分量，更好地捕捉了频率的长期关系。这些基于小波的输出随后通过交叉注意力融合层与原始Mamba输出无缝融合，结合了空间和频率信息以优化状态空间模型的顺序意识，这是图像生成中细节和整体质量的关键。此外，我们引入了一个全局共享变换器来增强Mamba的性能，利用其捕捉全局关系的独特能力。通过在标准基准上的广泛实验，我们的方法在DiT和DIFFUSSM上都表现出了优越的结果，实现了更快的训练收敛并提供了高质量的输出。代码和预训练模型可在https://github.com/VinAIResearch/DiMSUM.git上获得。

arXiv:2410.21443v2 通告类型: replace-cross 摘要： adversarial 攻击威胁到在自动驾驶车辆和防御系统等关键应用中机器学习模型的可靠性。随着像 YOLOv8 这样的检测模型变得越来越robust，开发有效的对抗性方法变得越来越具有挑战性。我们提出了一种名为 Truck Adversarial Camouflage Optimization (TACO) 的新框架，该框架在 3D 车辆模型上生成对抗性伪装图案以欺骗最先进的目标检测器。采用 Unreal Engine 5，TACO 将可微渲染与真实感渲染网络相结合，以 YOLOv8 为目标优化对抗性纹理。为了确保生成的纹理在欺骗检测器方面有效且视觉上合理，我们引入了卷积平滑损失函数，这是一种通用的平滑损失函数。实验评估表明，TACO 显著降低了 YOLOv8 的检测性能，在未见过的测试数据上实现了 0.5 阈值下的平均精度（[email protected]）为 0.0099。此外，这些对抗性模式还对其他目标检测模型（如 Faster R-CNN 以及较早版本的 YOLO）具有很强的迁移性。

arXiv:2410.06232v4 宣告类型：替换交叉 摘要：为什么生物和人工神经元有时会模块化，每个神经元编码单一有意义的变量，有时则会纠缠多个变量的表示？在这项工作中，我们发展了一种关于受生物启发的网络——即非负且能效高的网络——在其源变量（source）表示中进行模块化的理论。我们推导出在最优受生物启发的线性自编码器中，何时神经元会模块化其源变量表示的必要和充分条件。我们的理论适用于任何数据集，远超出之前研究中仅考虑统计独立性的范围。相反，我们表明，如果源变量的支持是“充分分散”的，则源变量会模块化。基于这一理论，我们在各种针对数据分布如何影响非线性前馈和递归神经网络（在监督和无监督任务中训练）进行模块化表示的研究中提取并验证了预测结果。此外，我们还将这些想法应用到神经科学数据中，展示了范围独立性可以用来理解在表面上看似矛盾的实验中空间和奖励信息的混合或模块化。进一步地，我们利用这些结果提出了混合选择性起源的替代理论，超越了当前灵活非线性分类主流理论之外。总之，我们的理论为神经活动模块化提供了精确的条件，提供了在大脑和机器中诱导和阐明模块化表示的工具。

arXiv:2410.03887v2 供应链类型: 替换-交叉 摘要：本文研究了依赖于供应模式的故障率的双重采购问题，特别适用于管理对停机时间至关重要的资产的备用零件。为了提高韧性，企业越来越多地采用结合传统制造技术和增材制造技术的双重采购策略。本文探讨了这些策略如何通过解决零件特性和故障率的变化来优化采购。一个主要挑战是这些方法制造的零件具有不同的故障特征，这些特征影响未来的需求。为了解决这一问题，我们提出了一种新的迭代近似算法，并结合了多种强化学习技术以及内生参数化学习（EPL）方法。这种EPL方法适用于任何学习方法，允许单一策略处理多个项目的各种输入参数。在一种简化的情景中，我们最佳的策略实现了平均最优性差距为0.4%。在能源领域的案例研究中，我们的策略在91.1%的情况下优于基线，平均成本节省高达22.6%。