arXiv:2502.06173v1 类型: cross
摘要：对蛋白质-蛋白质相互作用（PPIs）的识别有助于推导细胞机制理解，特别是在神经退行性疾病、代谢综合征和癌症等复杂条件下。大型语言模型（LLMs）在自动化挖掘大量生物医学文献以预测蛋白质结构和相互作用方面表现出了显著的潜力；然而，它们固有的不确定性仍然是从生物学应用中获得可重复发现的关键挑战。在本研究中，我们提出了一种针对PPI分析的不确定性强化大型语言模型的方法，利用了微调的LaMa-3和BioMedGPT模型。为了增强预测可靠性，我们整合了LoRA集成和贝叶斯LoRA模型进行不确定性量化（UQ），确保对蛋白质行为提供信心校准的见解。我们的方法在不同疾病背景下实现了PPI识别的竞争力表现，同时解决了模型不确定性问题，从而增强了计算生物学中的可信度和可重复性。这些发现突显了不确定性强化大型语言模型适应性对推动精准医学和生物医学研究的潜在作用。
arXiv:2502.06170v1 类型: cross
摘要：在地球科学中，未观察到的因素表现出非平稳的空间分布，导致特征与目标之间的关系表现出空间异质性。在地理机器学习任务中，传统的统计学习方法往往难以捕捉空间异质性，导致预测精度不满意且解释性不可靠。尽管像地理加权回归（GWR）这样的方法可以捕捉局部变化，但它们无法揭示全局模式并跟踪空间异质性的连续演变。鉴于这一局限性，我们提出了一种新的视角——即使用深度神经网络同时建模不同位置的常见特征以及空间差异。所提出的方法是一种具有编码器-解码器结构的双分支神经网络。在编码阶段，该方法使用GCN和LSTM对时空条件图中的节点信息进行聚合，将位置特定的时空异质性隐式编码为条件向量。此外，还使用基于自注意力的编码器从数据中提取位置不变的常见特征。在解码阶段，该方法采用一种条件生成策略，根据时空条件下的数据特征来预测响应变量和解释性权重。通过使用2001年至2020年的全球气候和土地覆盖数据来预测植被净初级生产力（GPP），该方法进行了验证。在5000万样本上进行训练并在280万样本上进行测试，所提出模型的均方根误差（RMSE）为0.836，优于LightGBM（1.063）和TabNet（0.944）。可视化分析表明，我们的方法可以揭示GPP的主导因素在不同时间和地点的分布差异。
arXiv:2502.06167v1 Announce Type: cross
摘要：我们研究了基于变换器的基础模型的基本极限，将我们的分析扩展到包括视觉自回归（VAR）变换器。VAR 代表了使用一种新颖的、可扩展的、从粗到细的“下一尺度预测”框架生成图像的一大步。这些模型设定了新的质量标准，超越了所有之前的方法，包括扩散变换器，在图像合成任务中也具有最先进的性能。我们的主要贡献表明，在单头VAR变换器中，具有单个自注意力层和单个插值层的VAR变换器是普适的。从统计角度来看，我们证明了这种简单的VAR变换器是任意图像到图像利普希茨函数的通用逼近器。此外，我们展示了流基自回归变换器继承了类似的逼近能力。我们的结果为有效的、计算效率高的VAR变换器策略提供了重要的设计原则，可以用于将其实用性扩展到更复杂的VAR模型，以及其他相关领域。
arXiv:2502.06153v1 宣告类型: cross
摘要: 科尔莫戈罗夫-阿诺尔德网络(KANs)已经在各个领域展示了其作为多层感知器(MLPs)的替代方案的潜力，尤其是在科学相关任务方面。然而，KANs的迁移学习仍是一个相对未被探索的领域。在这篇论文中，受张量的塔克分解以及KAN参数更新中存在低张量秩结构证据的启发，我们开发了低张量秩适应(LoTRA)方法以微调KANs。我们基于塔克分解近似研究了LoTRA的表达能力。此外，我们提供了一种理论分析来选择每个LoTRA分量的学习率，以便实现高效训练。我们的分析还表明，使用所有组件相同的学习率会导致训练效率低下，强调了需要采用自适应学习率策略。除了理论洞察之外，我们还探讨了LoTRA在通过微调KANs高效求解各种偏微分方程(PDEs)方面的应用。此外，我们提出了Slim KANs，该模型结合了KAN参数张量的固有低张量秩属性，从而减小模型大小同时保持优越性能。实验结果验证了所提出的学习率选择策略的有效性，并证明了LoTRA在KANs的PDEs求解中的迁移学习效果。进一步的评估表明，Slim KANs在函数表示和图像分类任务中的表现进一步突显了LoTRA的表达能力及其通过低张量秩分解减少参数的潜力。
arXiv:2502.06151v1 类型: cross
摘要：Transformer 近期在时间序列预测方面展现了强大的性能，但是它们的全连接注意力机制忽略了数据的（时间性的）因果性以及往往具有（时间性的）局部性。我们引入了 Powerformer，这是一种新型的 Transformer 变体，用因果权重替代了非因果权重，这些因果权重根据平滑的重尾衰减重新加权。这种简单而有效的修改赋予了该模型一种倾向于时间局部依赖性的归纳偏置，同时仍然允许足够的灵活性以学习每个数据集的独特相关结构。我们的实验结果表明，与公开的时间序列基准相比，Powerformer 不仅取得了最先进的准确度，还提供了改进后的注意力模式可解释性。我们的分析表明，模型的时间局部性偏置在训练过程中被放大，展示了时间序列数据与基于幂律的注意力之间的相互作用。这些发现突显了针对时间序列预测对 Transformer 架构进行领域特定修改的重要性，并确立了 Powerformer 作为未来研究和实际应用的强大、高效且有原则的基础模型。
arXiv:2502.06146v1 类型: cross
摘要：高效探索对于在复杂且长期的任务环境中学习关系模型至关重要。随机探索方法往往收集冗余或无关的数据，限制了它们学习环境准确的关系模型的能力。目标-公理生成 (GLIB) 通过设置和计划新目标来改进随机探索，但其依赖于随机动作和随机新目标选择限制了其在更大的领域中的可扩展性。在这项工作中，我们确定了关系领域高效探索的基本原则：（1）通过涵盖计划所需的不同提升效应的演示进行操作初始化，以及（2）通过选择信息性的目标-动作对并执行计划来收集最丰富的过渡信息以细化预条件。为了演示这些原则，我们引入了 Baking-Large，这是一个具有广泛状态-动作空间和长期任务的挑战性领域。我们使用 oracle 驱动的演示进行操作初始化，并使用目标-预条件导向的 oracle 指导以高效收集关键的过渡信息。实验表明，oracle 演示和目标-预条件导向的 oracle 指导显著提高了样本效率和泛化能力，为未来的方法提供了机会，使其能够使用这些原则有效地学习复杂环境中的准确关系模型。
arXiv:2502.06136v1 交叉类型公告
摘要：图神经网络（GNNs）已经成为了学习图结构化数据表示的强大工具。除了实值GNNs外，四元数GNNs在图结构化数据的任务上也表现出色。为了减少能源消耗，我们在保持与原大小GNNs相当的准确度的同时减小了模型大小。本文介绍了四元数消息传递神经网络（QMPNNs），一种利用四元数空间计算节点表示的框架。我们的方法提供了一种将四元数表示引入GNN架构中的通用方法，参数量仅为原模型的四分之一。此外，我们提出了图兑奖券（Graph Lottery Tickets）的新视角，重新定义了其在GNNs和QMPNNs中的适用性。我们具体的目标是从GNNs的子网络中找到初始化兑奖券，使其在训练后能达到与原GNN相当的性能，从而进一步减少可训练模型参数量。为了验证我们提出的QMPNN框架和LTH（剪枝）方法在GNNs和QMPNNs上的有效性，我们在三个基本的图任务——节点分类、链接预测和图分类——上对基于真实世界数据集的性能进行了评估。
arXiv:2502.06134v1 宣告类型：交叉
摘要：医疗时间序列数据通常不规则且存在严重的缺失性，这给数据分析和临床决策带来了挑战。现有方法通常从单一建模视角出发，要么将序列数据视为序列，要么将其转化为图像表示进行进一步分类。在本文中，我们提出了一种结合序列和图像表示的联合学习框架。我们还设计了三种半监督学习策略，以促进序列和图像表示的融合，捕捉更泛化的联合表示。结果表明，我们的方法在三个代表性的真实临床数据集中优于其他七个最先进的模型。我们进一步通过留传感器法和留样本法模拟了两种主要类型的真实世界缺失性，验证了我们的方法。结果表明，与基线方法相比，我们的方法在分类性能上更为 robust，并显著优于其他基线方法。
arXiv:2502.06127v1 类型: cross
摘要: 高压输电线路远离道路，导致检查工作不便且维护成本上升。智能输电线路检查变得越来越重要。然而，后续智能检查依赖于准确检测各种关键组件。由于输电线路图像检查中关键组件的低检测精度，本文提出了一种基于YOLOv5s（一次性观察版本5小）模型的改进对象检测模型，以提高输电线路关键组件的检测精度。根据电网检查图像的特点，我们首先对k-means聚类中的距离测量进行修改，以提高YOLOv5s模型的先验匹配。然后，在骨干网络中添加卷积块注意力模块(CBAM)注意力机制以提高精度。最后，我们应用焦距损失函数以减少类别不平衡的影响。我们改进的方法的mAP（平均精度）达到了98.1%，精度达到了97.5%，召回率达到了94.4%，检测率为84.8 FPS（每秒帧数）。实验结果表明，我们改进的模型提高了检测精度，并且在性能上优于其他模型。
arXiv:2502.06124v1 交叉类型公告
摘要：我们开发了健康结果模拟增强Transformer（ETHOS），这是一种AI模型，可以从电子病历（EHRs）中对患者的健康时间线（PHTs）进行分词。ETHOS 使用基于变换器的架构来预测未来的PHTs。适应性风险估计系统（ARES）采用ETHOS来计算临床定义的关键事件的动态和个人化风险概率。ARES 包含一个个性化解释模块，该模块可以识别对单个患者的风险估计起关键作用的临床因素。ARES 在 MIMIC-IV v2.2 数据集的急诊科（ED）环境中进行了评估，其性能与传统的早期预警系统和机器学习模型进行了基准测试。我们从 MIMIC-IV 中处理了 299,721 个独特的患者，转化为 285,622 个PHTs，其中 60% 包含医院入住记录。该数据集包含超过 3.57 亿个标记。ETHOS 在预测医院入住、ICU 入住和住院时间延长方面优于基准模型，取得了更优的 AUC 指标。ETHOS 基于的风险估计在不同的人口子群中表现稳定，模型可靠性强，这一点通过校准曲线予以验证。个性化解释模块提供了有关患者特定因素对风险贡献的见解。ARES 由 ETHOS 驱动，通过提供动态、实时且个性化的风险估计，以及针对患者特定因素的解释，增强了临床医生的信任。其适应性和优越的准确性使它成为临床决策的变革性工具，有可能改善急症和住院环境下的患者结果和资源分配。我们已在 github.com/ipolharvard/ethos-ares 上发布完整代码，以促进未来的研究。