arXiv:2502.01316v1 宣布类型: cross
摘要: 多视图强化学习(Multi-View Reinforcement Learning, MVRL)旨在为智能体提供多视图观测，使它们能够更有效地和精确地感知环境。最近在MVRL方面的进展集中在从多视图观测中提取潜在表示，并在控制任务中利用这些表示。然而，在存在冗余、干扰信息或缺失视图的情况下，学习紧凑且任务相关的表示并不是一件简单的事情。在本文中，我们提出了Multi-view Fusion State for Control (MFSC)，首次将bisimulation度量学习融入到MVRL中，以学习任务相关的表示。此外，我们提出了一个基于多视图的掩码和潜在重建辅助任务，利用跨视图的共享信息，并通过引入掩码标记来提高MFSC在缺失视图情况下的鲁棒性。大量实验结果表明，我们的方法在MVRL任务中优于现有方法。即使在有干扰或缺失视图的更现实场景中，MFSC也保持了高水平的性能。
arXiv:2502.01311v1 声明类型: cross
摘要：转录因子是通过结合特定的基因组区域（称为转录因子结合位点TFBSs）来调控基因表达的蛋白质，通常位于这些基因的启动子区域。准确预测这些结合位点对于理解各种细胞功能背后的复杂基因调控网络至关重要。在这方面，已经开发了许多深度学习模型来进行这种预测，但仍有改进的空间。在这项工作中，我们开发了一个深度学习模型，该模型使用预训练的DNABERT，一个卷积神经网络（CNN）模块，一个修改的卷积块注意力模块（MCBAM），多尺度卷积注意力模块（MSCA）以及一个输出模块。预训练的DNABERT用于序列嵌入，从而捕捉DNA序列中的长程依赖关系，而CNN、MCBAM和MSCA模块则有助于提取高阶局部特征。TFBS-Finder是在165个ENCODE ChIP-seq数据集中训练和测试的。我们还进行了消融研究以及跨细胞系的验证和与其他模型的比较。实验结果表明，与现有方法相比，所提出的方法在预测TFBSs方面具有优越性。相关代码和数据集可在https://github.com/NimishaGhosh/TFBS-Finder/公开获取。
arXiv:2502.01310v1 类型: cross
摘要: 基于神经网络的最优传输（OT）是生成建模领域的一个最新且富有成果的方向。它的应用范围包括领域转换、图像超分辨率、计算生物学等领域。在现有的OT方法中，基于OT问题半对偶形式的对抗极小极大求解器尤为值得关注。尽管这些方法很有前景，但它们缺乏从统计学习的角度进行理论研究。我们的工作填补了这一空白，通过建立由极小极大二次OT求解器恢复的近似OT映射的一般化误差上界。重要的是，我们得出的界仅依赖于所考虑的功能类（神经网络）的一些标准统计和数学性质。虽然我们的分析集中在二次OT上，但我们认为类似的界也可以为更一般的OT公式建立起来，为未来的研究开拓了前景。
arXiv:2502.01303v1 声明类型: cross
摘要: 设计一个能够在不牺牲精度和吞吐量的情况下使网络保持低参数和FLOPs的模块或机制仍然是一项挑战。为了解决这一挑战并利用特征图通道内的冗余，我们提出了一种新的解决方案：部分通道机制（PCM）。具体来说，通过拆分操作，特征图通道被分为不同的部分，每个部分对应不同的操作，如卷积、注意、池化和恒等映射。基于这一假设，我们引入了一种新颖的部分注意卷积（PATConv），它可以高效地将卷积与视觉注意力结合起来。我们的探索表明，PATConv可以完全替代标准卷积和标准视觉注意力，并减少模型参数和FLOPs。此外，PATConv可以导出三种新的类型模块：部分通道注意力模块（PAT_ch）、部分空间注意力模块（PAT_sp）和部分自注意力模块（PAT_sf）。此外，我们提出了一种新的可变部分卷积（DPConv），它能够根据不同层的拆分通道比例适应性地学习，以实现更好的权衡。基于PATConv和DPConv，我们提出了一种新的混合网络家族，名为PartialNet，该家族在ImageNet-1K分类任务上获得了优越的Top-1精度和推理速度，并在COCO数据集的检测和分割方面表现出色。我们的代码可在https://github.com/haiduo/PartialNet获取。
arXiv:2502.01295v1 交叉公告类型：
摘要：图已经成为了多种应用的重要基础，包括捕捉和推理事实知识、语义数据集成、社交网络，以及为机器学习算法提供事实知识。为了形式化数据的某些属性并确保数据质量，需要描述此类图的模式。由于应用的广泛性和不同数据模型（如RDF和属性图）的可用性，语义万维网和数据库社区独立地发展了图模式语言：SHACL、ShEx和PG-Schema。每种语言都有自己独特的定义约束和验证图数据的方法，这让潜在用户对于它们的共同点和差异感到困惑。在本文中，我们提供了每种模式语言核心组件的正式且简洁的定义。我们使用统一的框架来促进这些语言之间的全面比较，并确定一个共同的功能集，从而揭示这三种语言的共同之处和独特之处。
arXiv:2502.01282v1 交叉类型公告
摘要：在本文中，我们考虑使用与适当有理项相乘的高斯波let进行连续小波变换。这种有理修饰的零点和极点作为自由参数，并且它们的选择极大地影响了母波let的形状。这使得所提出的构造方法只需使用少量的波let系数就能近似具有复杂形态的信号。我们展示了所提出的有理高斯波let是可接受的，并使用变量投影算子提供了波let系数的数值近似。此外，我们展示了如何使用基于变量投影的有理高斯波let变换在神经网络中实现一个高度可解释的特征学习层。我们通过一个生物医学应用，即在实际心电图测量中检测房室期外搏动（VEBs），证明了所提出方案的有效性。
arXiv:2502.01276v1 宣告类型: cross
摘要: 超参数优化(HPO)是实现强预测性能的关键步骤。然而，单个超参数对模型泛化能力的影响高度依赖于上下文，这禁止了一刀切的解决方案，并要求不透明的自动化机器学习(AutoML)系统找到最佳配置。大多数AutoML系统的黑盒性质消除了用户信任，并阻碍了其采用。为了解决这一问题，我们提出了一种基于Shapley值和交互的博弈论可解释性框架，用于HPO。我们的方法提供了性能指标在超参数之间的加性分解，使得可以进行局部和全局的超参数重要性和交互的解释。该框架，称为HyperSHAP，提供了关于消除、学习算法的可调性和优化器行为在不同超参数空间中的见解。我们通过对HPO问题的交互结构进行分析，对HyperSHAP进行了各种HPO基准测试的评估。我们的结果显示，虽然存在高阶交互，但大多数性能改进可以通过关注较低阶的表示来解释。
arXiv:2502.01273v1 类别: cross
摘要：大型语言模型（LLMs）在各种领域中显示出越来越高的能力，教育工作者对将这些LLMs融入学习过程中的兴趣逐渐增加。特别是在软件工程领域，LLMs在代码总结、代码生成和调试方面展现了更高质量的能力。尽管在实际的软件工程任务中已经进行了大量关于LLMs的研究，但很少有研究捕捉到LLMs在教育进步方面的益处及其对学生学习过程的影响。为此，我们分析了126名本科生在13周学期期间与AI助手的互动，以理解AI在软件工程学习中的益处。我们分析了对话、生成的代码、使用的代码以及将代码整合到代码库中的人工干预水平。
我们的研究发现，学生们更偏好使用ChatGPT而非CoPilot。我们的分析还发现，ChatGPT生成的响应计算复杂度低于CoPilot。此外，基于对话的互动有助于生成质量更高的代码，与自动生成的代码相比。尽早将LLMs应用于软件工程在快速发展的市场环境中至关重要。因此，下一代软件工程师必须具备与AI互动的技能，以提高生产力。
arXiv:2502.01268v1 宣告类型: cross
摘要: 强化学习(RL)在未来的5G-beyond和6G系统中展现出了令人信服的本质。其主要优势在于在复杂和高维无线环境中能够进行健壮的无模型决策。然而，现有的大多数RL框架依赖于与环境的在线交互，这可能会因安全和成本问题而不可行。在线RL的另一个问题是所设计的算法在面对动态或新环境时缺乏可扩展性。本文提出了一种新颖的、鲁棒的、少样本元离线RL算法，该算法结合了使用保守Q学习(CQL)的离线RL和使用无模型元学习(MAML)的元学习。所提出的算法可以使用静态离线数据集来训练RL模型，而无需与环境进行任何在线交互。此外，在MAML的帮助下，所提出的模型可以扩展到新的未见过的环境中。我们展示了提出的算法，用于优化无人驾驶航空器(UAV)的轨迹和调度策略，以最小化信息陈旧度(AoI)和有限功率设备的传输功率。数值结果表明，所提出的少样本元离线RL算法比基于深度Q网络和CQL的基线方案收敛速度更快。此外，它是唯一一种能够使用少量数据点的离线数据集实现AoI和传输功率的联合优化，并且由于前所未有的环境变化而具有网络故障的鲁棒性的算法。
arXiv:2502.01247v1 Announce Type: cross
摘要：本文研究了基于正交函数基和热带多项式的可学习激活函数的可扩展神经网络，旨在针对ImageNet-1K分类和OpenWebText上的下一个词预测。传统的激活函数，如ReLU，是静态的。相比之下，可学习的激活函数使网络在训练过程中能够动态适应。然而，在较深的网络中，由于方差管理不当，会出现梯度消失或爆炸的问题。为了解决这个问题，我们提出了一个初始化方案，该方案可以在变压器和卷积网络中单独保持单位方差，从而确保即使在深层架构中也能稳定地流动梯度。广泛的实验表明，基于厄米特、傅里叶和热带多项式可学习激活函数的网络在准确率和困惑度方面显著优于GPT-2和ConvNeXt网络，在训练和测试中均突出显示了可学习激活函数在大规模任务中的可行性。本文中开发的激活函数完全用纯PyTorch编写了一个库：torchortho，可在https://github.com/K-H-Ismail/torchortho获取。