LLM2D

arXiv 论文列表

作者: Chenqing Hua, Bozitao Zhong, Sitao Luan, Liang Hong, Guy Wolf, Doina Precup, Shuangjia Zheng
酶及其催化的特异性反应是生命各个方面必不可少的,它使各种生物过程和适应成为可能。预测酶的功能对于理解生物途径、指导药物开发、提高生物产品产量和促进进化研究至关重要。为了应对固有的复杂性,我们提出了一种基于酶催化反应对其进行注释的新方法。这种方法提供了对特定反应的详细见解,并且可以适应新发现的反应,与传统的蛋白质家族或专家推导的反应类别分类方法不同。我们利用机器学习算法分析酶反应数据集,从而更细致地了解酶的功能。我们的评估利用了迄今为止最大的酶反应数据集,该数据集源于 SwissProt 和 Rhea 数据库,其中包含截至 2024 年 1 月 8 日的条目。我们将酶反应预测视为一个检索问题,旨在根据酶对特定反应的催化能力对酶进行排序。通过我们的模型,我们可以为新的反应招募蛋白质,并预测新蛋白质中的反应,从而促进酶的发现和功能注释(https://github.com/WillHua127/ReactZyme)。
发布时间: 10/1/2024
查看原文
作者: Liang Zhang, Justin Lieffers, Adarsh Pyarelal
本文研究了深度强化学习 (DRL) 在电子游戏中的语义聚类特性,加深了我们对 DRL 内部动态的理解,并提高了其可解释性。在这种情况下,语义聚类指的是神经网络内部根据语义相似性对视频输入进行分组的固有能力。为了实现这一点,我们提出了一种新颖的 DRL 架构,该架构集成了一个语义聚类模块,该模块兼具特征降维和在线聚类功能。该模块无缝集成到 DRL 训练流程中,解决了之前基于 t-SNE 的分析方法中观察到的不稳定性问题,并消除了对语义分析进行大量手动标注的必要性。通过实验,我们验证了所提出的模块的有效性和 DRL 在电子游戏中的语义聚类特性。此外,基于这些特性,我们引入了新的分析方法来帮助理解策略的层次结构和特征空间内的语义分布。
发布时间: 10/1/2024
查看原文
深度学习在癌症研究中的应用,特别是在早期诊断、病例理解和治疗策略设计方面,强调了高质量数据的必要性。生成式 AI,尤其是生成对抗网络 (GAN),已成为解决诸如类别不平衡、鲁棒学习和模型训练等挑战的领先解决方案,同时解决了患者隐私和真实数据稀缺带来的问题。尽管 GAN 很有前景,但它们面临着一些挑战,既有固有的挑战,也有针对组织病理学数据的特定挑战。固有问题包括训练不平衡、模式崩溃、从不足的鉴别器反馈中进行线性学习以及由于严格的反馈导致的硬边界收敛。组织病理学数据以其复杂的表示、高空间分辨率和多尺度特征呈现出独特的挑战。为了解决这些挑战,我们提出了一个由两个部分组成的框架。首先,我们引入了一种基于对比学习的多阶段渐进微调孪生神经网络 (MFT-SNN) 用于评估组织病理学斑块之间的相似性。其次,我们在 GAN 训练循环中实现了基于强化学习的外部优化器 (RL-EO),作为奖励信号生成器。修改后的鉴别器损失函数包含加权奖励,引导 GAN 最大化该奖励,同时最小化损失。这种方法为鉴别器提供了一个外部优化指南,防止生成器过度拟合并确保平滑收敛。我们提出的解决方案已针对最先进的 (SOTA) GAN 和去噪扩散概率模型进行了基准测试,在各种指标上优于之前的 SOTA,包括 FID 分数、KID 分数、感知路径长度和下游分类任务。
发布时间: 10/1/2024
查看原文
作者: Morgan Fouesneau, Ivelina G. Momcheva, Urmila Chadayammuri, Mariia Demianenko, Antoine Dumont, Raphael E. Hviding, K. Angelique Kahle, Nadiia Pulatova, Bhavesh Rajpoot, Marten B. Scheuck, Rhys Seeburger, Dmitry Semenov, Jaime I. Villase\~nor
ChatGPT 和其他最先进的大型语言模型 (LLM) 正在迅速改变多个领域,为各种应用提供强大的工具。这些模型通常在海量数据集上进行训练,展现出类似人类的文本生成能力,使其在研究任务中发挥作用,例如构思、文献综述、编码、起草和外展。我们进行了一项研究,涉及 13 位不同职业阶段和研究领域的宇航员,以探索 LLM 在多个月内跨不同任务的应用,并评估其在研究相关活动中的表现。这项工作伴随着一项匿名调查,评估了参与者对 LLM 的体验和态度。我们对尝试的任务和调查答案进行了详细分析,并提供了具体的输出示例。我们的发现突出了 LLM 在支持研究方面的潜力和局限性,同时也探讨了一般性和研究特异性的伦理考量。我们以一系列建议作为总结,强调研究人员需要将批判性思维和领域专业知识与 LLM 结合起来,确保这些工具作为辅助而不是替代严格的科学探究。
发布时间: 10/1/2024
查看原文
作者: Yuho Lee, Taewon Yun, Jason Cai, Hang Su, Hwanjun Song
现有的摘要质量评估基准往往缺乏多样化的输入场景,只关注狭义定义的维度(例如,忠实度),并且难以处理主观和粗粒度的标注方案。为了解决这些缺点,我们创建了 UniSumEval 基准,它扩展了输入上下文的范围(例如,领域、长度)并提供了细粒度、多维度的标注。我们在数据创建中使用 AI 辅助,识别潜在的幻觉输入文本,并帮助人类标注者降低细粒度标注任务的难度。通过 UniSumEval,我们对九种最新的语言模型作为摘要器进行了基准测试,提供了它们在不同输入上下文和评估维度上的性能见解。此外,我们对 SOTA 自动摘要评估器进行了彻底的比较。我们的基准数据将发布在 https://github.com/DISL-Lab/UniSumEval-v1.0。
发布时间: 10/1/2024
查看原文
作者: Zhiqiang Yuan, Weitong Chen, Hanlin Wang, Kai Yu, Xin Peng, Yiling Lou
代码翻译将代码从一种编程语言转换为另一种语言,同时保持其原始功能,这对于软件迁移、系统重构和跨平台开发至关重要。传统的基于规则的方法依赖于人工编写的规则,这可能很耗时,而且往往会导致代码可读性较差。为了克服这一问题,人们开发了基于学习的方法,利用平行数据来训练模型进行自动代码翻译。最近,大型语言模型 (LLM) 的发展进一步推动了基于学习的代码翻译。尽管很有前景,但 LLM 翻译的程序仍然存在各种质量问题(例如,语法错误和语义错误)。特别是,当仅提供相应的错误信息时,LLM 可能难以自行调试这些错误。 在这项工作中,我们提出了一种新颖的基于 LLM 的多智能体系统 TRANSAGENT,它通过四个基于 LLM 的智能体的协同作用来增强基于 LLM 的代码翻译,包括初始代码翻译器、语法错误修复器、代码对齐器和语义错误修复器。TRANSAGENT 的主要见解是首先基于目标程序和源程序之间的执行对齐来定位目标程序中的错误代码块,这可以缩小修复空间,从而降低修复难度。为了评估 TRANSAGENT,我们首先从最近的编程任务中构建了一个新的基准,以减轻潜在的数据泄漏问题。在我们的基准测试中,TRANSAGENT 在翻译有效性和效率方面都优于最新的基于 LLM 的代码翻译技术 UniTrans;此外,我们对不同 LLM 的评估表明了 TRANSAGENT 的泛化性,我们的消融研究表明了每个智能体的贡献。
发布时间: 10/1/2024
查看原文
作者: Chengxin Zheng, Junzhong Ji, Yanzhao Shi, Xiaodan Zhang, Liangqiong Qu
脑部 CT 报告生成对于辅助医生诊断颅脑疾病具有重要意义。最近的研究集中于处理视觉和文本病理特征之间的一致性,以提高报告的连贯性。然而,存在一些挑战:1)冗余的视觉表示:3D 扫描中大量无关区域分散了模型对显著视觉语境的表示。2)语义表示的偏移:有限的医学语料库导致模型难以将学习到的文本表示转移到生成层。本研究提出了一种基于病理线索的表示学习(PCRL)模型,以基于病理线索构建跨模态表示,并自然地将其应用于准确的报告生成。具体而言,我们从分割区域、病理实体和报告主题的角度构建病理线索,以全面掌握视觉病理模式并学习跨模态特征表示。为了将表示适应文本生成任务,我们利用一个具有任务定制指令的统一大型语言模型 (LLM),弥合了表示学习和报告生成之间的差距。这些精心设计的指令使 LLM 能够灵活地跨任务微调,并平滑地将语义表示转移到报告生成。实验表明,我们的方法优于以前的方法,并取得了最先进的性能。我们的代码可在“https://github.com/Chauncey-Jheng/PCRL-MRG”中获得。
发布时间: 10/1/2024
查看原文
作者: Xiaopeng Li, Shangwen Wang, Shezheng Song, Bin Ji, Huijun Liu, Shasha Li, Jun Ma, Jie Yu
近年来,知识编辑作为一种更新大型语言模型 (LLM) 知识的有效技术,吸引了越来越多的关注。然而,缺乏有效的措施来防止恶意利用这项技术,这可能导致 LLM 中出现有害的编辑。这些恶意修改可能导致 LLM 生成有毒内容,误导用户采取不当行动。针对这一风险,我们提出了一项新的任务,即知识编辑类型识别 (KETI),旨在识别 LLM 中不同类型的编辑,从而在遇到非法编辑时及时向用户发出警报。作为这项任务的一部分,我们提出了 KETIBench,其中包括五种涵盖大多数流行的有毒类型的有害编辑,以及一种良性的事实性编辑。我们开发了四个经典的分类模型和三个基于 BERT 的模型作为开源和闭源 LLM 的基线识别器。我们的实验结果,涵盖了涉及两个模型和三种知识编辑方法的 42 次试验,表明所有七个基线识别器都实现了良好的识别性能,突出了识别 LLM 中恶意编辑的可行性。额外的分析表明,识别器的性能独立于知识编辑方法的可靠性,并表现出跨域泛化能力,能够识别来自未知来源的编辑。所有数据和代码都可以在 https://github.com/xpq-tech/KETI 中获得。警告:本文包含有毒文本示例。
发布时间: 10/1/2024
查看原文
作者: Ethan Blaser, Shangtong Zhang
表格平均奖励时序差分 (TD) 学习可能是平均奖励强化学习中最简单、最基础的策略评估算法。在它被发现的 25 年后,我们终于能够提供一个期待已久的几乎肯定收敛分析。也就是说,我们是第一个证明在非常温和的条件下,表格平均奖励 TD 几乎肯定收敛到一个样本路径相关的固定点。这一成功的关键在于一个新的关于具有马尔可夫和加性噪声的非扩张映射的通用随机逼近结果,该结果建立在随机 Krasnoselskii-Mann 迭代的最新进展之上。
发布时间: 10/1/2024
查看原文
作者: Shahed Masoudian, Markus Frohman, Navid Rekabsaz, Markus Schedl
大型语言模型(LLM)在众多自然语言处理任务中取代了传统方法。然而,在命名实体识别(NER)中,现有的基于LLM的方法...
发布时间: 10/1/2024
查看原文