LLM2D

arXiv 论文列表

作者: Shuang Wang, He Zhang, Tianxing Wu, Yueyou Zhang, Wei Emma Zhang, Quan Z. Sheng
arXiv:2504.20105v1 跨域类型 摘要:全球范围内,地理位置分布的数据中心(GDCs)为大规模的工作流应用程序提供计算和存储服务,导致高昂的电力成本,这些成本因地理位置和时间而异。如何在满足工作流应用程序截止时间约束的同时减少电力成本,在GDCs中至关重要,这取决于服务器的执行时间、功率和电力价格。确定不同服务器频率的工作流完成时间是具有挑战性的,尤其是在GDCs中存在异构计算资源的场景中。此外,电力价格在地理位置上也不同,并且可能动态变化。为了解决这些挑战,我们开发了一种地理分布式系统架构,并为固定频率和功率的GDCs服务器提出了一种电力成本感知多工作流调度算法(ECMWS)。ECMWS包括四个阶段,即工作流排序、截止时间划分、任务排序和资源分配,其中构建了两种图嵌入模型和一个策略网络来解决马尔可夫决策过程(MDP)。通过对综合的工作流实例进行统计校准参数和算法组件后,我们在两种类型的工作流实例上将提出的算法与最先进的方法进行了比较。实验结果表明,我们提出的算法明显优于其他算法,提高了超过15%的性能,同时保持了可接受的计算时间。源代码可在https://gitee.com/public-artifacts/ecmws-experiments获得。
发布时间: 4/30/2025
查看原文
作者: Wenfeng Dai, Yanhong Wang, Shuai Yan, Qingzhi Yu, Xiang Cheng
arXiv:2504.20103v1 宣布类型: cross 摘要: 药物-靶标相互作用 (DTI) 预测是生物医药领域药物开发和精准医疗中的核心任务。然而,传统机器学习方法通常存在黑箱问题,这使得难以揭示模型决策机制与生物分子相互作用模式之间的深层次关联。本研究提出了一种异质网络药物靶标相互作用预测框架,将图神经网络技术和多尺度信号处理技术相结合,构建了一个同时具备高效预测能力和多层次解释性的模型。其技术突破主要体现在以下三个维度: 局部全局特征协作感知模块。基于异质图卷积神经网络 (HGCN),设计了一种多阶邻域聚合策略。 多尺度图信号分解与生物解释模块。提出了一种深层次节点特征变换(GWT)架构。 结合多维度视角和层次表示的对比学习。通过比较学习模型,在HGCN和GWT的两个视角下对节点表示进行对齐和融合,使得模型能够整合多维度信息并提高预测稳健性。实验结果表明,本框架在所有数据集上显示出优秀的预测性能。本研究为从黑箱预测到机制解码的药物靶标发现提供了一个完整解决方案,其方法论对建模复杂生物分子相互作用系统具有重要的参考价值。
发布时间: 4/30/2025
查看原文
arXiv:2504.20102v1 Announce Type: cross 摘要:蛋白质-蛋白质相互作用(PPIs)对于解析细胞功能、疾病途径和药物发现至关重要。尽管现有的神经网络和机器学习方法在PPI预测方面取得了高精度,但它们的黑盒性质导致预测结果缺乏因果解释,并且难以捕捉蛋白质之间的层次几何结构和多尺度动态相互作用模式。为了解决这些挑战,我们提出了一种名为HyboWaveNet的新颖深度学习框架,该框架结合了双曲图神经网络(HGNNs)和多尺度图小波变换,以实现稳健的PPI预测。将蛋白质特征映射到洛伦兹空间通过双曲距离度量模拟了生物分子间的层次拓扑关系,使得节点特征表示更好地符合生物学先验。HyboWaveNet 原生模拟了层次性和无标度的生物学关系,而波let变换的集成则使HyboWaveNet能够适应性地在不同分辨率下提取局部和全局相互作用特征。我们的框架在洛伦兹模型下的图神经网络中生成节点特征表示,在不同视角下生成正样本对进行对比学习,然后通过多尺度图小波变换进一步提取特征以预测潜在的PPIs。在公开数据集上的实验表明,HyboWaveNet 在性能上超过了现有的最先进的方法。我们还通过消融实验研究表明,多尺度图小波变换模块提高了HyboWaveNet 的预测性能和泛化能力。这项工作将几何深度学习和信号处理结合在一起,以促进PPI预测,提供了一种分析复杂生物系统的原理性方法。
发布时间: 4/30/2025
查看原文
作者: Fei Fang, Yifan Hua, Shengze Wang, Ruilin Zhou, Yi Liu, Chen Qian, Xiaoxue Zhang
arXiv:2504.20101v1 宣告类型: cross 摘要: 在开源和成本效益高的大型语言模型(LLM)的研究与开发方面取得了显著进展,但服务可扩展性仍然是一个关键挑战,尤其是在小组织和个人希望部署和测试其LLM创新方面。受利用分散式-overlay节点增加吞吐量和可用性的点对点网络的启发,我们提出了GenTorrent,这是一种利用分散式贡献者的计算资源的LLM服务overlay。我们确定了启用这种分散式基础设施时固有的四个关键研究问题:1) overlay网络组织;2) LLM通信隐私;3) overlay转发以提高资源效率;4) 服务质量验证。本研究首次对分散式LLM服务背景下这些基本问题进行了系统研究。实现于一组分散式节点上的原型的评估结果表明,与没有overlay转发的基本设计相比,GenTorrent实现了超过50%的延迟减少。而且,安全功能对服务延迟和吞吐量的影响最小。我们认为,这项工作为未来AI服务能力的民主化和扩展开辟了一个新方向。
发布时间: 4/30/2025
查看原文
作者: Inmaculada Santamaria-Valenzuela, Victor Rodriguez-Fernandez, Javier Huertas-Tato, Jong Hyuk Park, David Camacho
arXiv:2504.20099v1 Announce Type: 横跨领域 摘要:本研究探讨了时间序列基础模型生成的潜在空间的可解释性,重点关注其在视觉分析任务中的潜力。具体而言,我们评估了MOMENT模型家族,这是一个基于变压器的预训练架构集合,适用于多变量时间序列任务,如:插补、预测、分类和异常检测。我们评估了这些模型在五个数据集上的能力,以捕获它们的潜在空间投影中时间序列数据的潜在结构,并验证微调是否能够提高结果嵌入空间的清晰度。微调后观察到了损失减少的显著性能提升。视觉分析表明,嵌入的可解释性改进有限,需要进一步的工作。结果表明,尽管像MOMENT这样的时间序列基础模型具有稳健性,但它们的潜在空间可能需要额外的方法论改进才能充分解释,例如替代投影技术、损失函数或数据预处理策略。尽管MOMENT存在局限性,但基础模型还是大大减少了执行时间,带来了交互式视觉分析的巨大进步。
发布时间: 4/30/2025
查看原文
作者: Mohammad Baqar, Rajat Khanda, Saba Naqvi
arXiv:2504.20093v1 类型: cross 摘要:随着现代软件系统复杂性和规模的增加,其自主检测、诊断和恢复故障的能力变得越来越关键。受到生物修复的启发——人体检测损伤后向大脑发送信号并激活针对性的恢复——本文探讨了由人工智能驱动的自愈软件的概念。我们提出了一种新颖的框架,模仿这种生物学模型,系统可观测性工具作为感官输入,AI模型作为诊断和修复的认知核心,治疗剂应用针对性的代码和测试修改。通过结合日志分析、静态代码检查以及基于AI生成的补丁或测试更新,我们旨在减少宕机时间、加快调试速度并增强软件的韧性。通过案例研究和模拟评估该模型的有效性,将其与传统的手动调试和恢复工作流程进行比较。这项工作为能够持续自愈的智能、自适应和自立软件系统铺平了道路,类似于生物体的自我修复过程。
发布时间: 4/30/2025
查看原文
arXiv:2504.20092v1 交叉公告类型 摘要:个性化的食物推荐系统(Food-RecSys)因组件理解碎片化和传统机器学习在庞大且不平衡的食物数据面前失效而表现不佳。虽然大型语言模型(LLMs)提供了希望,但当前通用的作为语言处理的推荐(RLP)策略缺乏对食物领域复杂性的必要专业化。本论文通过首先识别和分析有效食物推荐系统(Food-RecSys)的关键组件来解决这些不足。我们引入了两项关键创新:一个多媒体食物记录平台,用于丰富的上下文数据采集,以及世界食物地图,使基于地理位置的食物分析得以实现,这是前所未有的。在此基础上,我们开创了食物推荐作为语言处理(F-RLP)框架——一种特别为食物领域架构的新颖、集成方法。F-RLP 以定制的方式利用大型语言模型,克服了通用模型的局限性,并为有效的、上下文相关且真正个性化的食物推荐提供了坚实的基础。
发布时间: 4/30/2025
查看原文
作者: Sebastian Gehrmann, Claire Huang, Xian Teng, Sergei Yurovski, Iyanuoluwa Shode, Chirag S. Patel, Arjun Bhorkar, Naveen Thomas, John Doucette, David Rosenberg, Mark Dredze, David Rabinowitz
arXiv:2504.20086v1 类型: cross 摘要: 负责任地开发生成式人工智能(GenAI)产品的关键在于定义接受的输入和输出范围。什么是“安全”的响应是一个备受争议的问题。学术界过度关注通过自身来评估模型的一般方面,如毒性、偏差和公平性,尤其是在广泛受众使用的对话应用程序中。相比之下,很少关注考虑专门领域的社会技术系统。然而,这些专门系统可能会受到广泛理解和高度监管的法律审查。这些产品特定的考虑需要结合特定行业的法律、法规和公司治理要求来进行考虑。在本文中,我们旨在强调金融服务业领域的AI内容安全考虑,并概述一个相关的AI内容风险分类。我们将这种分类与现有工作进行比较,并讨论风险类别违反对各利益相关方的影响。通过评估现有开源技术护栏解决方案在红色团队活动收集的数据上的表现,我们评估了这些护栏如何涵盖这种分类。我们的结果显示,这些护栏无法检测我们讨论的大部分内容风险。
发布时间: 4/30/2025
查看原文
arXiv:2504.20083v1 公告类型:跨学科 摘要:在这项工作中,我们介绍了ColBERT的一种德文版本,ColBERT是一种晚期交互多密集向量检索方法,重点关注RAG应用。我们还展示了我们为ColBERT模型包的主要功能,支持检索和微调工作流程。
发布时间: 4/30/2025
查看原文
作者: Xuan Rao, Bo Zhao, Derong Liu
arXiv:2504.20080v1 交叉公告类型 摘要:为了满足设计高效神经网络的需求,同时在模型性能(例如,分类准确率)与计算复杂性之间取得适当的权衡,基于两种核心——通过删除搜索和通过模仿搜索,开发了可微神经架构蒸馏(DNAD)算法。首先,为了在细胞类型不再共享相同拓扑结构的空间中推导神经架构,基于不同的可微架构搜索(DARTS)框架,即通过删除搜索,开发了超网络渐进式收缩(SNPS)算法。与传统的基于DARTS的方法不同,这些方法仅在搜索过程中推导出结构简单的神经架构,SNPS能够通过逐步从密集结构强制动态超网络收缩为稀疏结构,推导出一组具有灵活结构的Pareto最优架构集合。此外,由于知识蒸馏(KD)已经展示了在辅助的过参数化模型的帮助下训练紧凑网络的巨大有效性,我们将SNPS与KD结合,形成了DNAD算法,即通过模仿搜索。通过最小化超网络和教师网络行为之间的差异,避免了一级DARTS的过拟合,并推导出了表现良好的神经架构。在CIFAR-10和ImageNet分类任务上的实验表明,SNPS和DNAD都能够推导出具有相似或更低误差率且参数更少和FLOPs更少的架构集。特别是,DNAD在ImageNet分类任务中达到了6.0M参数和598M FLOPs的模型,其top-1误差率为23.7%,优于大多数基于DARTS的方法。
发布时间: 4/30/2025
查看原文