arXiv:2504.08210v1 宣布类型: cross
摘要：由于可再生能源集成程度的不断提高以及对更具适应性的控制策略的需求，电力系统运行变得越来越复杂。强化学习（RL）已成为电力网络控制（PNC）的一个有前途的方法，它有可能在动态和不确定的环境中提高决策能力。运行电力网络的学习（L2RPN）比赛通过提供标准化的基准和问题形式在加速研究方面发挥了关键作用，促进了基于RL方法的快速进步。本文综述了RL在电力网络拓扑优化中的应用，对现有技术进行了分类，突出了关键设计选择，并指出了当前研究中的空白。此外，我们还进行了一项比较数值研究，评估了常用基于RL的方法的影响，提供了它们实际效果的见解。通过汇总现有研究并概述开放挑战，本文旨在为基于RL的电力网络优化未来的发展奠定基础。
arXiv:2504.08208v1 声明类型: cross
摘要: 大型语言模型（LLMs）在自然语言处理领域取得了显著进展，并且越来越多地被集成到推荐系统中。然而，它们在教育推荐系统中的潜力尚未得到充分探索。本文研究了将LLMs作为一种通用推荐模型的应用，利用其从大规模语料库中获得的丰富知识，用于课程推荐任务。我们探索了从基于提示的方法到更先进的微调技术等各种方法，并将其性能与传统推荐模型进行了比较。我们在一个实际的MOOC数据集上进行了广泛的实验，从准确度、多样性和新颖性等多个维度评估了使用LLMs作为课程推荐系统的效果。我们的结果表明，LLMs可以达到与传统模型相当的性能，突显了它们在增强教育推荐系统方面的潜力。这些发现为进一步探索和开发基于LLMs的方法奠定了基础，尤其是在教育推荐领域的背景下。
arXiv:2504.08207v1 宣布类型: cross
摘要: 建筑知识管理（AKM）对于软件开发至关重要，但由于缺乏标准化和高人工努力，仍具挑战性。架构决策记录（ADRs）提供了一种结构化的方法来捕捉架构设计决策（ADDs），但其采用受限，因为涉及大量的手动操作且工具支持不足。我们之前的工作显示，大型语言模型（LLMs）可以协助生成ADDs。然而，简单地提示LLM并不能产生高质量的ADDs。此外，使用第三方LLM会引发隐私问题，而自我托管它们则会带来资源挑战。
为此，我们尝试了不同方法，如少样本、检索增强生成（RAG）和微调，以增强LLM生成ADDs的能力。我们的结果表明，这两种技术都提高了效果。在此基础上，我们提出了领域特定检索增强少样本微调（DRAFT），该方法结合了这三种方法的优点，以实现更有效的ADD生成。DRAFT分为两个阶段：离线阶段用于基于检索到的示例对LLM进行微调生成ADDs，并在线阶段利用检索到的ADRs和微调模型生成ADDs。
我们在一个包含4,911个ADRs的数据集和各种LLM上对DRAFT与其他现有方法进行了评估，并使用自动化指标和人类评估进行了分析。结果表明，DRAFT在效果上优于所有其他方法，同时保持了效率。我们的研究结果表明，DRAFT可以帮助架构师起草ADDs，同时解决隐私和资源约束问题。
arXiv:2504.08201v1 Announce Type: cross
摘要：近期的研究已经证明，大规模多动物模型是表征神经活动与行为之间关系的强大工具。然而，当前的大规模方法仅专注于预测神经活动从行为（编码）或从神经活动预测行为（解码），限制了它们捕获神经活动与行为之间双向关系的能力。为了解决这一差距，我们引入了一种多模态多任务模型，该模型能够在大规模下同时实现神经编码和解码（NEDS）。我们方法的核心是一种新颖的多任务遮掩策略，该策略交替进行神经遮掩、行为遮掩、模态内遮掩和模态间遮掩。我们在国际大脑实验室（IBL）重复站点数据集上预训练了我们的方法，该数据集包括83只动物在同一视觉决策任务中的记录。与其他大规模模型相比，我们在多动物数据上预训练NEDS，并针对新动物进行微调，结果显示NEDS在编码和解码方面均取得了最先进的性能。令人惊讶的是，NEDS学习到的嵌入表现出新兴特性：即使在没有显式训练的情况下，它们也能高度预测每条记录中的大脑区域。总之，我们的方法是建立能够无缝转换神经活动与行为的脑基础模型的一大步。
arXiv:2504.08200v1 类型：交叉
摘要：虽然经典的多臂老虎机问题假设每个臂的奖励是独立且固定的，但现实世界的应用往往涉及非固定环境和臂之间的相互依赖性。特别是，选择一个臂可能会影响其他臂的未来奖励，这种场景在现有的模型如腐烂的臂或活跃的臂等模型中并未得到充分的捕捉。为了解决这一限制，我们提出了一种影响臂问题，通过一个未知的、对称的正半定交互矩阵来建模臂间的交互，该矩阵规管臂损失的动力学。我们形式化地定义了这个问题，并建立了两个悔恨下界，包括标准UCB算法的超线性$\Omega(T^2 / \log^2 T)$下界和一个与特定算法无关的$\Omega(T)$下界，这些下界突显了该设置固有的难度。然后，我们介绍了一种基于损失动态结构定制的下置信界（LCB）估计器的新算法。在温和的假设下，我们的算法实现了悔恨$O(KT \log T)$，从时间范围依赖性来看，几乎是最优的。该算法实现简单，计算效率高。在合成数据集和真实数据集上的实证评估表明了臂间影响的存在，并证实了我们方法相比传统槽机算法的优越性能。
arXiv:2504.08195v1 交叉类型
摘要：在涉及服务分布式目标点的应用中，如灾害响应、环境监测和 surveillance，多架合作式自主无人机的航迹规划是一项挑战，尤其是在部分可观测性、有限通信范围和不确定环境下的情况。传统的路径规划算法在这些场景中遇到困难，特别是在没有先验信息的情况下。为了解决这些挑战，我们提出了一种新的框架，该框架结合了图神经网络（GNN）、深度强化学习（DRL）和基于变换器的机制，以增强多agent协调和集体任务执行。我们的方法利用GNN通过自适应图构建来建模agent-agent和agent-goal交互，从而在受限通信条件下实现高效的 정보聚合和决策。一种基于变换器的消息传递机制，结合边特征增强注意力，捕获复杂交互模式，同时，一种双重深度Q网络（Double DQN）配以优先经验重放优化agent策略，以适应部分可观测环境。这种集成专门设计以解决多agent导航的特定要求，如可扩展性、适应性和高效的任务执行。实验结果表明，与粒子群优化（PSO）、贪婪算法和DQN等基准方法相比，我们的方法在每回合平均步骤减少到200步的同时，服务提供率达到90%，网格覆盖率达到100%（节点发现）。
arXiv:2504.08192v1 类别: cross
摘要: 机器卸载是一种有望通过从模型中移除不需要的知识来提高大语言模型安全性的方法。然而，现有的基于梯度的卸载方法面临着计算成本高、超参数不稳定、顺序卸载能力差、易受重学攻击、数据效率低以及缺乏可解释性等问题。虽然稀疏自编码器通过启用目标激活基础的卸载而具备改进这些方面的潜力，但先前的方法在性能上不如基于梯度的方法。本文展示了，与这些早期发现相反，当动态使用稀疏自编码器时，它可以显著改进卸载性能。我们提出了Dynamic DAE Guardrails（DSG），一种新颖的精确卸载方法，该方法利用了原则性的特征选择和动态分类器。我们的实验表明，DSG在卸载性能上显著优于领先的卸载方法，实现了更优的忘却-效用权衡。DSG解决了基于梯度的方法在卸载方面的关键缺陷——提供了增强的计算效率和稳定性，能够在顺序卸载中保持稳健的性能，对重学攻击具有更强的抵抗力，包括零样本设置在内的更好数据效率，以及更可解释的卸载。
arXiv:2504.08181v1 宣告类型: cross
摘要: 人类中心的运动控制在视频生成中仍然是一个关键挑战，特别是在像格莱美Glambot经典时刻这样的场景中同时控制摄像机运动和人类姿态时。尽管最近的视频扩散模型已经取得了显著进展，但现有方法在运动表示有限和摄像机与人类运动控制不足集成方面仍存在困难。在此项工作中，我们提出了TokenMotion，这是一种基于DiT的视频扩散框架，能够细粒度地控制摄像机运动、人类运动及其联合交互。我们将摄像机轨迹和人类姿态表示为时空令牌，以实现局部控制粒度。我们的方法引入了一个统一建模框架，采用了解耦和融合策略，并通过一个面向人类的动态掩码有效地处理了组合运动信号的空间和时间变化特性。通过广泛的实验，我们展示了TokenMotion在文本到视频和图像到视频范式中的有效性，一致地超过了当前最先进的方法在人类中心运动控制任务中的表现。我们的工作代表了可控视频生成的一个重要进步，特别是对于创意生产应用具有重要意义。
arXiv:2504.08177v1 宣布类型: cross
摘要: 基础模型如Segment Anything Model (SAM) 在自然图像的零样本分割方面表现出色，但在医学图像分割方面遇到困难，原因在于医学图像在纹理、对比度和噪声方面存在差异。标注医学图像的成本很高，并需要特定领域的专业知识，这限制了大量标注数据的可用性。为了解决这一问题，我们提出了一种名为SynthFM的合成数据生成框架，该框架模拟了医学图像的复杂性，使基础模型能够在没有真实医学数据的情况下进行适应。我们使用SAM预训练的编码器，并从头训练SynthFM数据集上的解码器，在11种解剖结构（包括CT、MRI和超声）的9个数据集上评估了我们的方法。SynthFM在不同的提示设置和离分布数据集上超过了SAM和MedSAM等零样本基线，取得了更优的结果。
arXiv:2504.08169v1 声明类型: cross
摘要：点击率 (CTR) 和转换率 (CVR) 的预测在广告推荐系统的成功中起着至关重要的作用。一种名为深度分层集成网络 (DHEN) 的方法已被提出，用于集成多种特征交叉模块，并在 CTR 预测方面取得了巨大成功。然而，在广告竞投设置中，DHEN 在 CVR 预测方面的表现尚不明确，在这种设置中，广告会为用户在第三方网站或应用上的离站操作（包括购买、加入购物车、注册等）的概率进行竞价。DHEN 存在几个挑战：1）应该包括哪些特征交叉模块（如 MLP、DCN、Transformer 等）？2）DHEN 应该有多深多宽，以在效率和效果之间找到最佳权衡？3）每个特征交叉模块应该选择哪些超参数？除了模型架构，输入的个性化特征也显著影响模型性能，并具有很大的自由度。在这篇论文中，我们解决了这个问题，并从应用数据科学的角度提出了我们的贡献，包括：
首先，我们提出了一种基于 DHEN 的多任务学习框架，用于预测所有 CVR 任务，并详细研究了如何使 DHEN 在实践中有效工作；其次，我们构建了用于 CVR 预测的现场实时用户行为序列和离站转换事件序列，并进行了消除方面重要性的消融研究；最后但同样重要的是，我们提出了一个自监督辅助损失，用于预测输入序列中的未来行为，以帮助解决 CVR 预测中的标签稀疏问题。
我们的方法在与预训练用户个性化特征的单个特征交叉模块相比时，达到了最先进的性能。