LLM2D

arXiv 论文列表

arXiv:2502.00530v1 交叉公告类型 摘要:空间嵌入网络(SENs)是一种特殊的复杂图,其拓扑结构受网络嵌入的空间环境约束。这种网络的图形表示因此受到节点和边的嵌入空间特征的影响。对于各种图形相关任务来说,准确地表示图形结构和图形特征是一项基本任务。在这项研究中,开发了一种通用多模态空间图形卷积网络(GMu-SGCN),用于高效表示空间嵌入网络。开发的GMu-SGCN模型能够通过多模态节点和边特征学习节点连接模式。为了评估该模型,使用了河流网络数据集和电力网络数据集作为测试床。河流网络代表了自然形成的SENs,而电力网络代表了人工网络。这两种网络都受到空间环境和自然因素带来的不确定性的强烈限制。全面的评估分析表明,与仅考虑节点位置特征的GraphSAGE模型相比,开发的GMu-SGCN在电力网络测试床上的边存在预测任务的准确度提高了37.1%。我们的模型证明了考虑多维空间特征对于空间嵌入网络表示的重要性。
发布时间: 2/4/2025
查看原文
作者: Zhi Zhou, Tan Yuhao, Zenan Li, Yuan Yao, Lan-Zhe Guo, Xiaoxing Ma, Yu-Feng Li
arXiv:2502.00511v1 交叉公告类型 摘要:最近在大规模语言模型(LLMs)方面取得的进展展示了出色的推理能力。然而,单次推理往往会由于复杂推理任务而产生不可靠的结果,促使研究人员通过困惑度和自一致性等方法探索多种推理路径。在本文中,我们首次对这些技术的理论误差分解进行了分析,将它们的误差分解为估计误差和模型误差。我们的分析揭示了一种基本的权衡:由于缺乏适当的自一致性函数,困惑度方法遭受了严重的模型误差;而自一致性则因误差收敛速度较慢而表现出较高的估计误差。为了克服这些限制,我们提出了推理剪枝困惑度一致性(RPC)方法。这种方法结合了困惑度一致性,该方法将LLM困惑度与自一致性无缝集成,以及推理剪枝,该方法通过消除低概率推理路径来有效防止估计误差减少的退化。理论分析表明,RPC不仅加速了估计误差收敛率到指数级别,还具有进一步减少模型误差的强大潜力。在七个基准数据集上的广泛实证评估证实了RPC在提高推理性能、样本效率和置信可靠性的显著效果。
发布时间: 2/4/2025
查看原文
arXiv:2502.00507v1 交叉类型公告 摘要: 为了解决语言模型生成输出的可变性问题,我们提出了一种在温和假设下统计一致性的语义可变性度量。这种度量称为语义谱熵,是一种易于实现的算法,只需要标准的语言模型即可。我们对语言模型施加了很少的限制,并且在清晰的模拟研究中显示,尽管存在来自语言模型的随机性,该方法仍能生成准确的度量值。
发布时间: 2/4/2025
查看原文
arXiv:2502.00501v1 宣布类型:交叉 摘要:特征选择是因果推断中的一个重要但具有挑战性的任务,用于获得因果量的无偏估计。在因果推断中,适当选择的特征不仅能显著减少实现匹配算法所需的时间,更重要的是,还能在估计因果量时减少偏差和方差。当特征选择技术应用于因果推断时,关键的准则是选择在用于匹配时能够实现因果量无偏和稳健估计的变量。最近的研究表明,仅根据与治疗相关的变量进行平衡引入了偏差,而根据虚假变量进行平衡则增加了方差。为解决这一问题,我们提出了一种增强的三阶段框架,与现有的因果推断特征选择框架相比,在选择所需的变量子集方面显示出显著改进,从而在估计因果量时具有更低的偏差和方差。我们使用最先进的合成数据在各种情况下评估了我们提出的框架,并在可行的计算时间内观察到了卓越的性能,确保了大规模数据集的可扩展性。最后,为了展示我们提出的方法在大规模实际数据中的适用性,我们评估了与阿片危机相关的美国重要医疗保健政策:使用阿片类药物障碍是否有因果关系与自杀行为。
发布时间: 2/4/2025
查看原文
arXiv:2502.00500v1 宣告类型: cross 摘要:本文介绍了一种称为视频潜在流匹配(VLFM)的高效视频建模过程。与先前的工作不同,这些工作随机采样视频生成的潜在块,我们的方法依赖于当前强大的预训练图像生成模型,建模一种可以在某些潜在空间中随时间变化的特定描述符引导的潜在块流,这些潜在块可以解码为时间相关的视频帧。我们首先推测视频中的多幅图像在某些潜在空间中相对于时间是可微的。基于这一猜想,我们引入HiPPO框架来近似多项式的最优投影以生成概率路径。我们的方法获得了有界普遍逼近误差的理论优势以及时间尺度鲁棒性。此外,VLFM能够处理任意帧率下的视频生成的插值和外推能力。我们在几个文本到视频数据集上进行了实验以展示我们方法的有效性。
发布时间: 2/4/2025
查看原文
作者: Mohammad Saleh Torkestani, Robert Davis, Abdolhossein Sarrafzadeh
arXiv:2502.00495v1 类型: cross 摘要:时间限制医生与患者互动以及在管理医疗系统下对专科医生访问受限,导致越来越多地将计算机视为医疗信息来源和自我健康管理工具。然而,研究表明,不到40%的信息寻求者表示网络信息帮助他们就健康问题做出了决策。需要基本计算机技能的多网站搜索、大多数搜索引擎中缺乏互动和大多数情况下没有面对面互动,以及一些社会问题,促使我们开发了一种专门的拟人化代理,以克服上述问题。
发布时间: 2/4/2025
查看原文
作者: Shuyuan Zheng, Sudong Cai, Chuan Xiao, Yang Cao, Jainbin Qin, Masatoshi Yoshikawa, Makoto Onizuka
arXiv:2502.00494v1 宣告类型: cross 摘要:在协作机器学习中,数据估值,即评估每个客户端的数据对机器学习模型的贡献,已成为激励和选择积极数据贡献的关键任务。然而,现有研究通常假设客户端会诚实地进行数据估值,忽视了客户端夸大其贡献的实际动机。为了解决这一问题,本文首次引入了数据过估值攻击,使战略性的客户端能够使其数据被显著高估。此外,我们提出了一种诚信数据估值指标,名为 Truth-Shapley。Truth-Shapley 是唯一确保某些有希望的数据估值公理的指标,同时确保客户端的最佳策略是进行诚信数据估值。我们的实验表明现有的数据估值指标对数据过估值攻击的脆弱性,并验证了 Truth-Shapley 的稳健性和有效性。
发布时间: 2/4/2025
查看原文
作者: Shen-Huan Lyu, Yi-Xiao He, Yanyan Wang, Zhihao Qu, Bin Tang, Baoliu Ye
arXiv:2502.00465v1 交叉公告类型:交叉 摘要:斜决策树(ODT)通过线性投影来划分特征空间,与传统的决策树(DT)强制轴平行分割不同。ODT 已 proven 具有比 DT 更强的表现能力,因为它提供了一种创建更浅树结构的方法,同时仍然能够逼近复杂决策边界。然而,其学习效率仍然不足,因为线性投影无法传递到子节点,导致模型参数出现浪费。在本文中,我们提出了一种增强的 ODT 方法,名为特征拼接(Feature Concatenation, \texttt{FC-ODT}),这使得在模型内部的特征转换能够沿决策路径传递投影。理论上,我们证明了我们的方法在树深度方面享有更快的一致性率,表明我们的方法在泛化性能方面具有显著优势,特别是在浅树方面。实验结果表明,与其它最新的决策树方法相比,\texttt{FC-ODT} 在有限的树深度下可以表现出更好的性能。
发布时间: 2/4/2025
查看原文
作者: Kang Hyunju, Han Geonhee, Jeong Yoonjae, Park Hogun
arXiv:2502.00459v1 Announce Type: cross 摘要:文本到音频生成模型(TAG)在根据文本描述生成音频方面取得了显著进展。然而,在每个文本输入如何影响生成的音频方面,缺乏透明度是一个关键挑战。为了解决这一问题,我们引入了AudioGenX,这是一种可解释AI(XAI)方法,通过突出显示输入标记的重要性来为文本到音频生成模型提供解释。AudioGenX通过利用事实性和反事实目标函数来优化解释器,在音频标记级别提供忠实的解释。该方法提供了文本输入与音频输出之间详细且全面的关系理解,增强了TAG模型的可解释性和可信度。广泛的实验表明,AudioGenX在生产忠实解释方面非常有效,这是通过使用专门为音频生成任务设计的新颖评估指标与现有方法进行基准测试得出的结论。
发布时间: 2/4/2025
查看原文
作者: Aishik Mandal, Tanmoy Chakraborty, Iryna Gurevych
arXiv:2502.00451v1 宣吿类型: cross 摘要:精神疾病是一种普遍且具有严重致残性的疾病,对社会和个人都造成了重大影响。传统的诊断和治疗方法,如自我报告问卷和心理治疗会诊,往往会给患者和临床医生带来显著的负担,限制了这些方法的可及性和效率。近年来,人工智能(AI)的进步,特别是自然语言处理和多模态技术的进步,为识别和应对抑郁症、焦虑症、双相情感障碍、精神分裂症和创伤后应激障碍等状况提供了巨大的潜力。然而,隐私问题仍然是部署这些AI系统的一大关键障碍,尤其是在临床环境中。这些挑战在多模态方法中尤为突出,因为个人标识信息,如语音和面部数据,可能会被不当使用。本文对开发和部署用于精神健康的AI模型所面临的隐私挑战进行了全面而批判性的研究。我们进一步提出了潜在的解决方案,包括数据匿名化、合成数据生成以及隐私保护模型训练,以加强实际应用中的隐私保障措施。此外,我们还讨论了评估这些方法中的隐私-效用权衡的评估框架。通过解决这些挑战,我们的工作旨在推进可靠、隐私意识强的AI工具的发展,以支持临床决策并改善精神健康结果。
发布时间: 2/4/2025
查看原文