arXiv:2502.13199v1 类型:跨学科
摘要:GitHub Copilot 通过利用人工智能驱动的代码生成来自动化任务，从而变革软件开发并提高生产率。在本文中，我们进行了一项文献综述，以综合分析 Copilot 对生产率和安全性的影响。我们审查了学术期刊数据库、行业报告以及官方文档，以突出显示关键发现和挑战。虽然 Copilot 加快了编码和原型制作，但关于安全漏洞和知识产权风险的担忧仍存。通过文献综述，我们提供了一种负责任的人工智能在软件工程中的采用的最佳实践和未来方向的视角，为开发人员和组织在保持高质量和安全标准的同时有效整合 Copilot 提供了可操作的见解。
arXiv:2502.13198v1 专辑类型:交叉
摘要:低质量的数据限制了机器学习(ML)的优越性并削弱了高性能的ML软件系统。如今，由于数据量和复杂性的增加，数据更容易面临质量问题的风险。因此，在将数据进一步应用于ML管道之前，需要进行繁琐且耗时的数据准备和改进工作。为应对这一挑战，我们提出了一种智能的数据为中心的评估框架，该框架可以识别高质量的数据并提高ML系统的性能。提出的方法结合了质量测量的策划和无监督学习，以区分高质量和低质量的数据。该框架设计为高度灵活且通用，以便在各种领域和应用中部署。为了验证所设计框架的成果，我们在分析化学领域实施了一个实际案例，并在反义寡核苷酸的三个数据集上对其进行了测试。领域专家被咨询以识别相关质量测量，并评估框架的结果。结果表明，以质量为中心的数据评估框架能够识别高质量数据的特性，指导高效的实验室实验，并最终提高ML系统的性能。
arXiv:2502.13194v1 类型: cross
摘要：在本文中，我们提出了一种基于因子图和Max-Sum算法的多智能体动态环境决策方法，考虑了异步变量重新分配和智能体之间的分布式消息传递。受到没有车道的交通领域这一具有挑战性的应用场景的启发，其中自动化车辆可以作为智能体进行通信和协调，我们提出了一种满足上述限制的更加现实的通信框架，并引入了条件Max-Sum：一种改进的Max-Sum扩展算法，更适合异步设置。在没有车道的交通应用中，可以将整体视为一种混合系统，在这种系统中，因子图表述承担车辆的策略性决策任务，即协调的侧向对齐；并在我们设计的一种基于规则的方法之上运作，该方法为因素提供了结构化的车道自由环境表示，并处理车辆涉及的核心操作和安全方面的底层控制。我们实验评估展示了所提出框架在需要高度协调的问题中相对于一个没有通信的领域特定基线的能力，以及相对于标准算法，条件Max-Sum的更强适应性。
arXiv:2502.13191v1 类别: cross
摘要: 神经元脉冲网络（SNNs）因其在实际应用中的能效和鲁棒性而受到越来越多的关注，但它们的隐私风险仍然很大程度上未被研究。在这项工作中，我们调查了SNNs对成员推理攻击（MIA）的易感性——这是一种主要的隐私威胁，攻击者试图确定给定样本是否是训练数据集的一部分。尽管先前的工作表明，由于其分立、事件驱动的性质，SNNs可能具有内在的鲁棒性，但我们发现其抵御能力随着延迟（T）的增加而减弱。此外，我们在黑盒设置下引入了一种输入丢弃策略，该策略显著增强了SNNs中的成员推理。我们的发现挑战了SNNs本征更安全的假设，尽管它们预期会更好，但我们的结果揭示了SNNs在隐私漏洞方面与人工神经网络（ANNs）同样具有可比性。我们的代码可在https://anonymous.4open.science/r/MIA_SNN-3610获取。
arXiv:2502.13189v1 Announce Type: cross
摘要：扩展有效的上下文长度对于推动大规模语言模型（LLMs）向通用人工智能（AGI）发展是至关重要的。然而，传统注意力机制中固有的计算复杂性的平方级增长造成了巨大的开销。现有的方法要么引入强偏置结构，如sink或窗口注意力，这些结构是任务特定的，要么从根本上将注意力机制改造成线性近似，其在复杂推理任务中的性能仍然未得到充分探索。
在本文中，我们提出了一种遵循“少结构”原则的解决方案，允许模型自主决定何时以及如何关注，而不是引入预定义的偏置。我们引入了一种名为混合块注意力（MoBA）的新颖方法，将专家混合（MoE）原则应用于注意力机制。这种新型架构在处理长上下文任务时表现出优越的性能，其关键优势在于能够无缝地在全注意力和稀疏注意力之间转换，提高了效率而不牺牲性能。MoBA已经部署以支持Kimi的长上下文请求，并在LLMs的高效注意力计算方面展示了显著的进步。我们的代码可在https://github.com/MoonshotAI/MoBA获得。
arXiv:2502.13187v1 宣布类型: cross
摘要：深度强化学习（RL）已经在各个领域，如机器人技术、交通、推荐系统等中被探索并证实为解决决策任务的有效方法。它通过与环境的交互学习，并利用收集的经验更新策略。然而，由于有限的现实世界数据和执行有害行为的不可承受后果，RL策略的学习主要局限于模拟器中。这种做法在学习过程中保证了安全性，但是在部署时不可避免地引入了模拟到现实之间的差距，从而导致执行时性能下降和风险增加。不同领域中已经尝试通过各种技术解决模拟到现实的问题，尤其是借助大型基础模型或语言模型等新兴技术，这些技术已经照亮了模拟到现实的路径。据我们所知，这篇综述论文是首次正式从马尔可夫决策过程的关键元素（状态、动作、转换和奖励）的角度对模拟到现实的方法进行分类。基于这一框架，我们涵盖了从经典方法到最先进方法的全面文献，包括由基础模型增强的模拟到现实技术，并讨论了在不同模拟到现实问题领域中值得关注的特色。然后，我们总结了模拟到现实性能的形式评估过程，包括可获取的代码或基准。同时，我们提出了挑战和机遇，以鼓励未来在这个方向上的探索，并且我们正在积极维护一个最新的模拟到现实研究结果的列表，以帮助研究人员在他们的工作中使用。
arXiv:2502.13185v1 类型: cross
摘要：准确且高效的气候模拟对于理解地球不断变化的气候至关重要。然而，当前的普遍环流模型（GCMs）在捕捉未解决的物理过程方面面临挑战，例如云和对流。一种常见的解决方案是采用云分辨率模型，这类模型比标准的亚网格参数化方案提供更准确的结果。然而，云分辨率模型也称为超参数化模型，仍然在计算上具有挑战性。结合深度学习与基于方程的GCM的混合建模提供了一种有前景的替代方案，但常常面临长期稳定性和准确性的问题。在本文中，我们发现凝结过程中水汽过饱和是一个关键因素，影响混合模型的稳定性。为了解决这个问题，我们引入了CondensNet，这是一种新颖的神经网络架构，它嵌入了一个自我适应的物理约束来纠正不物理的凝结过程。CondensNet有效地缓解了水汽过饱和现象，提高了模拟的稳定性，同时保持了精确性，并且在计算效率上优于超参数化方案。
我们将CondensNet集成到一个GCM中，形成了PCNN-GCM（物理约束神经网络GCM），这是一种混合深度学习框架，旨在在包括海洋和陆地在内的现实条件下进行长期稳定的气候模拟。PCNN-GCM在混合气候建模方面代表了一个重要里程碑，因为它展示了在物理约束下实现自适应集成的新方式，为准确、轻量级和长期稳定的气候模拟铺平了道路。
arXiv:2502.13181v1 Announce Type: cross
摘要：Transformer已成功应用于有效处理诸如文本等序列数据。其架构由多个注意力和前馈层组成，可以以并行方式建模序列中元素之间的关系，这使得它们在训练和序列建模方面非常高效。尽管它们在处理序列数据方面表现强大，但与基于RNN和CNN的其他架构相比，其参数量显著更大。因此，已经探索了Transformer模型中的参数共享和递归，以应对其计算需求。然而，这些方法在性能上难以与原始Transformer模型保持一致。为此，我们提出了一种新颖的方法——RingFormer，该方法利用一个Transformer层，以环形、循环的方式重复处理输入，并利用低秩矩阵生成输入相关的信号。这使我们在翻译和图像分类等多种任务中能够显著减少模型参数量，同时保持高性能，这一点在实验中得到了验证。
arXiv:2502.13180v1 交叉公告类型：推荐系统
摘要：推荐系统（RSs）在塑造我们的数字互动中起着关键作用，影响我们在各个领域的信息获取和参与方式。传统的研究主要集中在最大化推荐准确性上，这往往导致诸如回音室效应和用户体验受限等意外副作用。受到自动驾驶的启发，我们提出了一个新颖的框架，将RS的自主性分为五个不同的层次，从基本的基于规则的准确性驱动系统到行为意识、不确定性的多目标RSs，在这些系统中，用户的需求可能会有所不同，如准确性、多样性和公平性。为应对这一挑战，我们提出了一种方法，该方法能够根据个人用户的偏好动态识别和优化多个目标，从而促进更加伦理和智能化的用户中心推荐。为了应对多目标RSs固有的不确定性，我们开发了一个贝叶斯优化（BO）框架，该框架能够捕捉不同目标之间的个性化权衡，同时考虑到它们不确定的相互依赖关系。此外，我们引入了一个正交元学习范式，通过利用相似任务之间的共享知识来增强BO的效率和效果，并通过发现正交信息来缓解目标之间的冲突。最后，广泛的实证评估表明，我们的方法在优化个人用户的不确定多目标方面具有有效性，为更适应性和用户导向的RSs铺平了道路。
arXiv:2502.13179v1 类别: cross
摘要: 面对极低比特(低于2比特)量化，大型语言模型（LLMs）表现严重下降。现有的极低比特后训练量化（PTQ）方法通过利用无结构的细粒度掩码来混用精度方案，以明确区分显着权重，但每权重引入了额外的1比特或多比特。为了探索PTQ的实际极限，我们提出了一种称为PTQ1.61的极低比特PTQ方法，使其能够将权重量化至1.61比特，这是首次实现。具体而言，我们首先从减少量化误差上界的角度出发，引入了一维结构化掩码，并基于输入激活图以每权重可忽略不计的额外0.0002比特为基础，将相应的显着权重通道分配给4比特。对于非显着通道的二值化，我们提出了一个高效的块级缩放因子优化框架，以考虑隐式的行间相关性和角度偏差。不同于以往工作主要集中在调整量化方法上，我们进一步提出了一个名为量化预处理的新范式，我们认为在量化之前转换预训练模型的权重分布可以缓解每通道极低比特PTQ的困难。大量实验表明，我们的PTQ1.61在极低比特量化方面达到了最先进的性能。代码可从https://github.com/zjq0455/PTQ1.61获取。