LLM2D

arXiv 论文列表

作者: Lingkun Luo, Shiqiang Hu, Liming Chen
arXiv:2505.07548v1 交叉公告类型:跨领域适应 摘要:伪标签是无监督域适应(UDA)的核心,但高质量的伪标签目标域样本(\textbf{hcpl-tds})的稀缺性往往会导致跨域统计对齐的不准确性,从而导致DA失败。为了解决这一挑战,我们提出了一种名为噪声优化条件扩散用于域适应(\textbf{NOCDDA})的方法,该方法无缝地将条件扩散模型的生成能力与DA的决策需求结合,以实现任务耦合的优化,以实现高效的适应。为了确保稳健的跨域一致性,我们修改了DA分类器,使其在一个统一的优化框架内与条件扩散分类器对齐,从而能够在噪声变化的跨域样本上进行前向训练。此外,我们认为扩散模型中传统的 \(\mathcal{N}(\mathbf{0}, \mathbf{I})\) 初始化往往会生成混淆类别的 hcpl-tds,这会削弱判别性DA的效果。为此,我们引入了一种类意识的噪声优化策略,该策略细化生成反类特定 hcpl-tds 的采样区域,从而有效增强跨域对齐。在5个基准数据集和29个DA任务上的广泛实验表明,\textbf{NOCDDA} 在与31种最先进的方法相比时,实现了显著的性能提升,验证了其稳健性和有效性。
发布时间: 5/13/2025
查看原文
作者: Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu
arXiv:2505.07546v1 类型: cross 摘要: 通过将检索到的文档中的外部知识整合到其中,检索增强生成(RAG)框架能够提高大型语言模型(LLMs)的准确性,从而克服模型静态固有知识的局限性。然而,这些系统容易受到通过引入与查询语义相似但具有敌意的文档来操纵检索过程的对抗性攻击的影响。值得注意的是,尽管这些敌意文档看起来类似于查询,但它们与检索集中良性文档的相似度较弱。因此,我们提出了一种简单有效的基于图的对抗性文档攻击重排序框架(GRADA),旨在在保持检索质量的同时显著降低对手的成功率。我们的研究通过在五个LLM(GPT-3.5-Turbo、GPT-4o、Llama3.1-8b、Llama3.1-70b和Qwen2.5-7b)上进行实验,评估了我们方法的有效性。我们使用三个数据集来评估性能,结果表明,来自Natural Questions数据集的结果在保持准确性损失最小的情况下,攻击成功率最多可降低80%。
发布时间: 5/13/2025
查看原文
arXiv:2505.07534v1 交叉类型公告 摘要:可视化分析(VA)将人类、数据和模型作为洞察力生成和数据驱动决策的关键参与者进行整合。本文通过对16种VA过程模型和框架的价值评估与反思,提出了九个高层次的观察结果,从而激发对VA的新视角。贡献在于提出了HDMI画布,这是一种补充现有VA过程模型和框架优点的视角。HDMI画布系统地刻画了人类、数据和模型的多样化角色,以及这些参与者如何从VA过程中受益并作出贡献。HDMI画布的描述能力使得能够更容易地区分一系列VA构建块,而不仅仅是描述一般性的VA原则。画布包含了现代以人为中心的方法论,包括人类知识外化和反馈循环的形式,而可解释的人工智能则强调了模型贡献超越其常规输出的方面。HDMI画布具有生成能力,可以指导新VA过程的设计,并且优化了对外部利益相关者的支持,提高了VA的普及、跨学科合作以及用户中心设计的效果。HDMI画布的实用价值通过两个初步案例研究得到了证明。
发布时间: 5/13/2025
查看原文
作者: Ahmad Fall, Federica Granese, Alex Lence, Dominique Fourer, Blaise Hanczar, Joe-Elie Salem, Jean-Daniel Zucker, Edi Prifti
arXiv:2505.07533v1 宣告类型: cross 摘要: 在包括物理活动、药物和压力在内的各种生理条件下监测和分析心电图(ECG)信号是准确评估心脏健康的关键。然而,当前基于人工智能的方法往往未能考虑这些因素如何相互作用并改变ECG模式,最终限制了它们在实际环境中的应用。本研究引入了一种名为IKrNet的新型神经网络模型,该模型能够在特定的生理条件下识别药物特异性的ECG模式。IKrNet的架构通过使用具有不同接收场大小的卷积骨干来捕获空间特征,从而整合了空间和时间动态。同时,还采用双向长短期记忆模块来建模时间依赖性。通过将心率变异性作为生理波动的替代指标,我们在包括物理应激、单独用药以及无药物存在的基线条件下的多种场景中评估了IKrNet的性能。我们遵循临床协议,对990名健康的志愿者施用了80mg的索他洛尔,这是一种已知会导致致命性心律失常Torsades-de-Pointes的药物。结果显示,IKrNet在各种生理条件下比最先进的模型在准确性和稳定性方面表现出色,进一步证明了其临床实用性。
发布时间: 5/13/2025
查看原文
作者: Xu Huang, Weiwen Liu, Xingshan Zeng, Yuefeng Huang, Xinlong Hao, Yuxian Wang, Yirong Zeng, Chuhan Wu, Yasheng Wang, Ruiming Tang, Defu Lian
arXiv:2505.07512v1 交叉公告类型 摘要:大型语言模型(LLMs)的工具使用能力使它们能够访问最新的外部信息并处理复杂任务。当前增强这种能力的方法主要依赖于通过数据合成提炼高级模型。然而,这种方法伴随着高级模型使用带来的显著成本,并且经常由于高级模型与目标模型的知识范围差异大而导致数据兼容性问题。为了应对这些挑战,我们提出了一种自我提升框架ToolACE-DEV,用于工具学习。首先,我们将工具学习目标分解为增强基本工具制作和使用能力的子任务。然后,我们引入了一种自我演化的范式,允许轻量级模型自我提升,减少对高级LLM的依赖。广泛的实验验证了我们方法在不同规模和架构模型上的有效性。
发布时间: 5/13/2025
查看原文
作者: Mauricio Orbes-Arteaga, Oeslle Lucena, Sabastien Ourselin, M. Jorge Cardoso
arXiv:2505.07511v1 交互类型: 横跨 摘要:交互式医学分割通过用户反馈 refinement 预测来减少注释努力。基于视觉变换器(ViT)的模型,如 Segment Anything Model (SAM),通过用户点击和先验掩码作为提示,实现了顶级性能。然而,现有方法将交互视为独立事件,导致冗余校正并限制了改进幅度。我们通过引入 MAIS(记忆注意机制)来解决这一问题,MAIS 存储过去的用户输入和分割状态,从而实现时间上下文的整合。我们的方法增强了跨多种成像模态的基于 ViT 的分割,实现了更高效和准确的改进。
发布时间: 5/13/2025
查看原文
作者: Jing Ren, Mingliang Hou, Zhixuan Liu, Xiaomei Bai
arXiv:2505.07508v1 类型: cross 摘要:图形异常检测是多个实际应用场景中一个流行且至关重要的任务,多年来一直在进行研究。最近,许多扩展基于深度学习的方法在图形异常检测方面展现出了优越的表现。然而,现有的方法缺乏嵌入设备所必需的高效性。为了解决这一问题,我们提出了一种通过对比学习在异构图中高效检测异常(EAGLE)的模型,该模型通过对比异常节点和正常节点与局部上下文的距离来进行异常检测。所提出的方法首先在元路径级别上采样实例对以进行对比学习。然后,应用一种基于图形自动编码器的模型以无监督的方式学习具有信息性的节点嵌入,该嵌入将与判别器进一步结合以预测节点的异常分数。实验结果表明,在三种异构网络数据集上,EAGLE 优于现有的最先进的方法。
发布时间: 5/13/2025
查看原文
作者: R. Maria del Rio-Chanona, Marco Pangallo, Cars Hommes
arXiv:2505.07457v1 类型: cross 摘要:我们探索了大型语言模型(LLMs)在经济市场实验中复制人类行为的潜力。与之前的研究相比,我们重点关注LLM代理之间的动态反馈:每个LLM的决策会影响当前步骤的市场价格,从而影响其他LLM在下一步的决策。我们将LLM的行为与实验室环境中观察到的市场动态进行比较,并评估其与人类参与者行为的一致性。我们的研究结果表明,LLM并不严格遵循理性预期,而是表现出有限的理性,类似于人类参与者。提供一个最小的上下文窗口,即记忆前三步的时间序列,结合一个捕捉响应异质性的高变异性设置,使LLM能够复制人类实验中观察到的宏观趋势,如正反馈和负反馈市场的区别。然而,在细微层面上仍然存在差异——LLM的行为异质性低于人类。这些结果表明,LLM有潜力作为模拟经济环境中现实人类行为的工具,尽管还需要进一步的研究来提高其准确性并增加行为多样性。
发布时间: 5/13/2025
查看原文
作者: Neil De La Fuente, Maria Pilligua, Daniel Vidal, Albin Soutiff, Cecilia Curreli, Daniel Cremers, Andrey Barsky
arXiv:2505.07450v1 通知类型: cross 摘要: 持续学习(CL)的目标是在不忘记先前知识的情况下学习一系列任务,但由于新任务的梯度更新往往会覆盖之前学到的权重,导致灾难性遗忘(CF)。我们提出了一种原型增强超网络(PAH)框架,该框架通过在可学习任务原型的条件下动态生成特定任务的分类器头部来进行任务需求动态生成。为减轻遗忘,PAH 结合了交叉熵损失和双重蒸馏损失,一个是使逻辑值对齐,另一个是使原型对齐,从而确保任务间特征表示的稳定。在 Split-CIFAR100 和 TinyImageNet 上的评估表明,PAH 达到了最先进的性能,分别仅出现 1.7% 和 4.4% 的遗忘现象,其准确率达到了 74.5% 和 63.7%,并且在不存储样本或头部的情况下超过了之前的方法。
发布时间: 5/13/2025
查看原文
作者: Peng Sun, Yi Jiang, Tao Lin
arXiv:2505.07447v1 Announce Type: cross 摘要:近年来,在连续生成模型方面的进展,包括多步方法如扩散和流匹配(通常需要8-1000个采样步骤)和少步方法如一致性模型(通常需要1-8个步骤),已经展示了极具影响力的生成性能。然而,现有的工作往往将这些方法视为不同的范式,导致各自独立的训练和采样方法。我们提出了一种统一的框架,用于训练、采样和分析这些模型。我们的实现,统一连续生成模型训练器和采样器(UCGM-{T,S}),达到了最先进的(SOTA)性能。例如,在使用675M扩散变换器于ImageNet 256x256数据集上,UCGM-T训练了一个多步模型,在20步中实现了1.30的FID得分,并且训练了一个少步模型,在仅2步中达到了1.42的FID得分。此外,将UCGM-S应用于预训练模型(此前在250步中FID得分为1.26),改进了性能,在仅40步中达到了1.06的FID得分。代码可在以下链接获取:https://github.com/LINs-lab/UCGM。
发布时间: 5/13/2025
查看原文