arXiv:2502.02187v1 Announce Type: cross
摘要：本文提出了一种名为ShapeShifter的新颖3D生成模型，该模型能够基于单一参考模型学习合成形状变化。尽管最近对于3D对象的生成方法引起了广泛关注，但当前的技术往往缺乏几何细节，或者需要较长的训练时间和大量资源。通过结合稀疏体素网格和点、法线和颜色采样，并将其嵌入一个多尺度神经架构中，我们的方法可以在有效地并行训练的情况下解决这些问题。我们展示了我们的合成形状更好地捕捉了原始输入的细节点，并且可以处理比以往基于SDF的方法更广泛的表面类型。此外，我们提供了交互式生成3D形状变体的能力，如果需要，可以允许在设计过程中更多的人类控制。
arXiv:2502.02173v1 交叉公告类型：cross
摘要：近期研究探索了在大型语言模型中更新和修改事实性知识的方法，通常侧重于特定的多层感知机块。这项研究在此基础上进一步探讨了现有知识编辑方法在不同语言中的有效性，并深入研究了注意力机制在这一过程中的作用。借鉴这些洞察，我们提出了基于注意力的大规模编辑记忆在变换器中的方法（MEMAT），该方法在所有指标上都实现了显著改进，同时只需要进行少量参数修改。MEMAT 在量值指标上实现了惊人的 10% 的提升，受益于不在训练数据中包含的语言，并且展示了高度的可移植性。我们的代码和数据可在 https://github.com/dtamayo-nlp/MEMAT 获取。
arXiv:2502.02170v1 移动性类型: 横跨
摘要：从2G到5G，移动性性能一直是蜂窝网络的核心关注点。为了提高切换(Handover, HO)性能，3GPP在5G中引入了条件切换(Conditional Handover, CHO)和第一层/第二层触发的移动性(Layer 1/Layer 2 Triggered Mobility, LTM)机制。虽然这些反应式切换策略解决了切换失败(HO Failure, HOF)和乒乓效应之间的权衡问题，但往往会因额外的切换准备工作而导致无线资源的低效利用。为克服这些挑战，本文提出了一种主动切换框架，用于在O-RAN中的移动性管理，利用用户-小区链路预测来识别切换的目标小区。我们探讨了多种类型的图神经网络(Graph Neural Networks, GNNs)用于链路预测，并分析了将其应用到移动性管理领域的复杂性。使用真实世界数据集比较了两种GNN模型，实验结果表明这些模型能够捕捉蜂窝网络中动态的和基于图的特性。最后，我们从研究中提出关键见解，并概述了未来步骤，以实现基于GNN的链路预测在6G网络中用于移动性管理的集成。
arXiv:2502.02133v1 控制类型: 横向
摘要: MPC和RL是考虑马尔可夫决策过程两种成功控制技术的领域。这两种方法都是基于相似的基本原则，广泛应用于包括机器人学、过程控制、能源系统和自主驾驶在内的多种实际应用中。尽管它们存在相似之处，但MPC和RL遵循了源于不同社区和不同需求的不同的范式。各种技术上的差异，尤其是在算法中作为环境模型部分的角色，导致了具有几乎互补优势的方法论。由于它们的正交益处，将MPC与RL相结合的研究兴趣最近显著增加，导致出现了一大批利用MPC和RL的复杂想法。本文阐明了差异、相似之处和基础原理，这些基础原理允许不同的组合算法，并根据这些基础原理对现有工作进行分类。特别是，我们将通用的演员-评论家RL方法作为分类的基础，并探讨如何使用MPC的在线优化方法来提高策略的整体闭环性能。
arXiv:2502.02132v1 宣告类型：交叉
摘要：在现代用于深度学习的优化方法中，每次更新都依赖于过去迭代的历史，通常称为记忆，这种依赖性随着时间的推移迅速衰减。例如，具有动量的梯度下降通过指数加权平均过去的梯度具有指数衰减的记忆。我们介绍了一种通用技术，用于识别一个无记忆算法，该算法可以近似具有记忆的优化算法。这可以通过用当前迭代替换所有过去的迭代来获得，并且然后添加一个源自记忆的修正项（也依赖于当前迭代）。这个修正项可以解释为损失的扰动，这种扰动的性质可以说明记忆如何隐式（或反）正则化优化动力学。作为我们理论的应用，我们发现Lion并不像AdamW那样具有由记忆诱导的反正则化，这为最近记录的Lion更好的泛化性能提供了一个基于理论的解释。
arXiv:2502.02109v1 交叉公告类型: cross
摘要: 近期深度学习（DL）的发展推动了高性能早期预警分数（EWS）系统的开发，这些系统可以预测急性肾损伤、急性心肌梗死或循环衰竭等临床恶化情况。DL模型在各种任务中证明了其强大的工具性，但同时也伴随着缺乏可解释性和有限的泛化能力，阻碍了其临床应用。为了开发适用于多种结果的实用EWS系统，我们提出了一种基于因果关系的可解释早期预测模型，该模型利用因果发现来识别预测背后的因果关系，因此具有两个独特的优势：在应用于不熟悉环境时仍能表现出色的同时，还能明确解释预测。得益于这些特性，我们的方法在6种不同的关键恶化情况中都实现了较高的准确性，并在不同患者群体中的泛化能力上优于各种基线算法。此外，我们还提供了明确的因果路径，作为辅助临床诊断和潜在干预的参考。该方法提高了深度学习在各种医疗场景中的实用应用。
arXiv:2502.02103v1 交叉类型: cross
摘要: 神经网络可能会自然地倾向于基于距离的表示，其中较小的激活表明与学习原型的接近程度较小。这与基于激活幅度的强度方法形成对比。为了测试这一假设，我们对六种受限于学习距离或强度表示的MNIST架构变体进行了实验。我们的结果表明，底层表示影响模型性能。我们开发了一种新的几何框架来解释这些发现，并引入了基于马哈拉诺比斯距离方程的新架构OffsetL2，以进一步验证该框架。这项工作强调，在神经网络设计中考虑基于距离的学习的重要性。
arXiv:2502.02088v1 宣布类型：交叉
摘要：随着网络升级和模型规模的扩大，视频基础模型取得了显著的进展。然而，由于生成质量不令人满意，它们仍然难以满足应用的要求。为了解决这个问题，我们在这篇论文中从后训练的角度提出了一种将视频基础模型与人类偏好相匹配的方法，从而通过引入人类反馈来提高生成视频的质量。具体来说，IPO 利用一个批判模型对成对排名的视频生成进行验证，类似于直接偏好优化中的成对排名验证或卡尼曼-特维斯基优化中的逐点评分验证。因此，IPO 通过偏好反馈信号的引导优化视频基础模型，从而有助于提高生成视频的一致性主题、运动流畅性和审美质量等。此外，IPO 还将批判模型与多模态大语言模型结合，使其能够自动生成偏好标签，无需重新训练或重新标注。这样，IPO 能够在迭代的方式中高效地进行多轮偏好优化，无需繁琐的手动标注。全面的实验表明，提出的IPO 能有效提高预训练模型的视频生成质量，并帮助一个只有2亿参数的模型超越一个5亿参数的模型。此外，IPO 在 VBench 基准上达到了新的最先进性能。我们将发布我们的源代码、模型以及数据集，以促进未来的研究和应用。
arXiv:2502.02079v1 类型: cross
摘要: 上下文多臂博弈（MAB）是一种在不确定性下进行顺序决策的广泛使用的框架，适用于推荐系统等需要 sequential 决策的问题。在涉及大量用户的应用中，通过促进多个用户的协作，可以显著提高上下文 MAB 的性能。这已经通过多臂博弈聚类（CB）方法实现，该方法自适应地将用户分组到不同的集群中，并通过允许同一集群内的用户共享数据来实现协作。然而，传统的 CB 算法通常依赖于数值奖励反馈，这在某些实际应用中可能不实用。例如，在推荐系统中，从建议项目对之间的偏好反馈中获取反馈比绝对奖励更为现实和可靠。为了解决这一限制，我们首次引入了“多臂博弈对决算法聚类”，以基于偏好反馈实现协作决策。我们提出了两种新颖的算法：（1）线性对决多臂博弈聚类（COLDB），它将用户奖励函数建模为上下文向量的线性函数；（2）神经网络对决多臂博弈聚类（CONDB），它使用神经网络建模复杂的非线性用户奖励函数。这两种算法都经过严格的理论分析支持，证明了用户协作提高了遗憾边界。我们在合成数据集和真实世界数据集上的广泛实证评估进一步证实了我们方法的有效性，确立了它们在涉及偏好反馈的多用户实际应用中的潜在价值。
arXiv:2502.02072v1 交叉公告类型
摘要：大规模语言模型（LLMs）的快速进化已经改变了自然语言处理，但其部署和使用过程中存在固有的偏见问题，尤其是在多种语言和文化背景下。本文提出了一个名为ASCenD BDS（可适应、随机性和情境感知框架，用于检测偏见、歧视和刻板印象）的框架。该框架提供了一种检测各种类别（如性别、种姓、年龄、残疾、经济和社会地位、语言变体等）中的偏见、歧视和刻板印象的方法，这种方法是可适应的、随机的和情境感知的。现有的框架高度依赖于使用数据集来生成检测偏见、歧视和刻板印象的场景。这些数据集包括Civil Comments、Wino Gender、WinoBias、BOLD、CrowS Pairs和BBQ等。然而，这种方法只能提供点解决方案。因此，这些数据集提供了有限数量的评估场景。当前的框架通过具备适应性、随机性和情境感知的特性，克服了这一局限性。情境感知可以针对任何国家或文化或亚文化（例如组织的独特文化）进行定制。在本文中，针对印地语境中的情境感知进行了研究。内容引用了2011年印度人口普查中的分类进行了归一化。通过使用类别、子类别、STEM、X因子和同义词，开发了一个框架以实现适应性、随机性和情境感知的特性。该框架在第3节中详细描述。由圣狐狸咨询有限公司的顾问团队开发了800多个STEM、10个类别和31个独特子类别。该概念在圣狐狸实验室的产品开发中进行了测试。