LLM2D

arXiv 论文列表

大型语言模型 (LLM) 已广泛应用于自动化内容生成甚至关键决策系统等应用中。然而,提示注入的风险可能导致LLM输出被操纵。虽然已记录了许多攻击方法,但完全控制这些输出仍然具有挑战性,通常需要经验丰富的攻击者多次尝试,并且严重依赖于提示上下文。基于梯度的白盒攻击技术的最新进展在越狱和系统提示泄露等任务中显示出前景。我们的研究将基于梯度的攻击泛化,以找到一个触发器,该触发器 (1) 具有普适性:无论目标输出如何,都能有效;(2) 与上下文无关:在不同的提示上下文中都具有鲁棒性;(3) 输出精确:能够以高精度操纵LLM输入以产生任何指定的输出。我们提出了一种有效发现此类触发器并评估所提出攻击有效性的新方法。此外,我们讨论了此类攻击对基于LLM的应用程序构成的重大威胁,强调了对手可能接管人工智能代理做出的决策和行动的可能性。
发布时间: 11/25/2024
查看原文
作者: Chenxu Zhu, Shigang Quan, Bo Chen, Jianghao Lin, Xiaoling Cai, Hong Zhu, Xiangyang Li, Yunjia Xi, Weinan Zhang, Ruiming Tang
点击率预测在推荐系统中扮演着至关重要的角色。最近,大型语言模型 (LLM) 由于其涌现能力已应用于推荐系统。虽然利用 LLMs 的语义信息已显示出推荐系统性能的一些改进,但这些研究中仍然存在两个显著的局限性。首先,增强型 LLM 推荐系统在从文本环境中提取终身用户行为序列中的有价值信息以用于推荐任务方面面临挑战。其次,人类行为的内在变异性导致持续不断的新的行为和不规则波动的用户兴趣。这一特性给现有模型带来了两个重大挑战。一方面,它给 LLMs 在有效捕捉这些序列中用户兴趣的动态变化方面带来了困难;另一方面,如果 LLMs 需要在每次更新用户序列时反复调用,则存在巨大的计算开销问题。在这项工作中,我们提出了一种基于大型语言模型的终身用户行为建模 (LIBER) 方法,该方法包括三个模块:(1) 用户行为流分区 (UBSP),(2) 用户兴趣学习 (UIL) 和 (3) 用户兴趣融合 (UIF)。首先,采用 UBSP 以增量方式将冗长的用户行为序列压缩成较短的分区,从而促进更有效的处理。随后,UIL 以级联方式利用 LLMs 从这些分区中推断信息。最后,UIF 集成上述过程中生成的文本输出,以构建一个综合的表示,该表示可以被任何推荐模型用来提高性能。LIBER 已部署在华为的音乐推荐服务中,并在用户的播放次数和播放时间上分别实现了 3.01% 和 7.69% 的显著改进。
发布时间: 11/25/2024
查看原文
作者: Eric Tang, Bangding Yang, Xingyou Song
随着大型语言模型 (LLM) 在字符串信息灵活处理方面的兴起,其在回归中的应用,特别是将字符串表示预处理成 LLM 嵌入作为度量预测的下游特征,变得自然而然。本文首次对基于嵌入的回归进行了全面研究,并证明了在高维回归任务中,将 LLM 嵌入用作特征比使用传统的特征工程方法更好。这种回归性能的提升部分可以解释为:LLM 对数值数据的嵌入在特征空间中固有地保持了 Lipschitz 连续性。此外,我们还量化了不同模型效应的贡献,最显著的是模型大小和语言理解能力,我们惊讶地发现它们并不总是能提高回归性能。
发布时间: 11/25/2024
查看原文
作者: Xunyu Zhu, Jian Li, Can Ma, Weiping Wang
大型语言模型 (LLM) 表现出卓越的推理能力,在各种任务中经常达到最先进的性能。然而,由于其数十亿参数导致的巨大计算和内存需求,阻碍了其在资源受限环境中的部署。一个有前景的解决方案是知识蒸馏,其中 LLM 将推理能力转移到小型语言模型 (SLM,≤10亿参数),从而能够在低资源设备上更广泛地部署。现有方法主要关注为蒸馏数据集生成高质量的推理原理,但往往忽略了数据数量和质量的关键作用。为了应对这些挑战,我们提出了一种反馈驱动蒸馏 (FDD) 框架来增强 SLM 的数学推理能力。在初始化阶段,通过提示 LLM 将数学问题与其相应的推理原理配对来构建蒸馏数据集。我们根据 SLM 的性能将问题分为容易和困难两类。对于简单的问题,LLM 生成更复杂的变体,而对于困难的问题,则合成类似复杂度的新问题。此外,我们提出了一种多轮蒸馏范式,以迭代方式丰富蒸馏数据集,从而逐步提高 SLM 的数学推理能力。实验结果表明,我们的方法可以使 SLM 达到最先进的数学推理性能。
发布时间: 11/25/2024
查看原文
作者: Jinglei Cheng, Ruilin Zhou, Yuhang Gan, Chen Qian, Junyu Liu
我们提出了一种新颖的量子哈密顿量下降方法来解决图划分问题。通过将图划分重新表述为无约束二次二元优化 (QUBO) 问题,我们利用 QHD 的量子启发式动力学来识别最佳社区结构。我们的方法实现了一种多级细化策略,该策略在 QUBO 公式和 QHD 优化之间交替进行,以迭代地提高划分质量。实验结果表明,与传统的优化方法相比,我们基于 QHD 的方法实现了更高的模块化得分(最多提高 5.49%),同时降低了计算开销。这项工作将 QHD 确立为解决大规模网络中图划分挑战的有效量子启发式框架。
发布时间: 11/25/2024
查看原文
作者: Tao Song, Yicheng Wu, Minhao Hu, Xiangde Luo, Linda Wei, Guotai Wang, Yi Guo, Feng Xu, Shaoting Zhang
多模态磁共振图像合成旨在通过融合和映射少量可用的MRI数据来生成缺失模态图像。大多数现有方法通常采用图像到图像的转换方案。然而,这些方法由于不同模态之间的空间错位(而它们通常被视为输入通道)而常常导致次优性能。因此,本文提出了一种自适应组间交互网络(AGI-Net),它探索了多模态和单模态关系以进行多模态MR图像合成。具体来说,首先沿通道维度预定义组,然后我们对标准卷积核进行自适应滚动以捕获模态间的空间对应关系。同时,引入跨组注意力模块来融合不同通道组的信息,从而获得更好的特征表示。我们在公开可用的IXI和BraTS2023数据集上评估了我们模型的有效性,AGI-Net在多模态MR图像合成方面取得了最先进的性能。代码将公开发布。
发布时间: 11/25/2024
查看原文
作者: Pittawat Taveekitworachai, Chollakorn Nimpattanavong, Mustafa Can Gursesli, Antonio Lanata, Andrea Guazzini, Ruck Thawonmas
本文提出了一种动态上下文提示/编程 (DCP/P) 的新框架,用于与大型语言模型 (LLM) 交互以生成基于图的内容,并具有动态上下文窗口历史记录。虽然已有研究利用大型语言模型生成视觉小说游戏,但之前的研究涉及手动提取输出的过程,并且在生成更长、更连贯的故事方面缺乏灵活性。我们将 DCP/P 与我们的基线进行了评估,该基线不向大型语言模型提供上下文历史记录,仅依赖于初始故事数据。通过客观评估,我们表明,与额外向大型语言模型提供故事的适当上下文相比,仅仅向其提供摘要会导致次优的故事。我们还进行了广泛的定性分析和讨论。我们定性地检查了每种方法生成的客观上性能最佳的游戏的质量。此外,我们还检查了生成内容中词语选择和词语情感的偏差。我们发现与之前的研究一致的观察结果是,即使使用不同的大型语言模型系列,大型语言模型也偏向于某些词语。最后,我们对未来研究的机会进行了全面的讨论。
发布时间: 11/25/2024
查看原文
大型语言模型 (LLM) 通过在各种任务中提供最先进的性能,彻底改变了自然语言处理 (NLP)。其中,基于 Transformer 的模型(如 BERT 和 GPT)依靠池化层将标记级嵌入聚合为句子级表示。平均、最大和加权和等常见的池化机制在这个聚合过程中起着关键作用。尽管这些机制被广泛使用,但这些策略在不同 LLM 架构上的比较性能仍然缺乏探索。为了解决这一差距,本文研究了这些池化机制对两个突出的 LLM 系列——BERT 和 GPT——在句子级情感分析中的影响。全面的实验表明,每种池化机制都根据任务的具体要求展现出独特的优势和劣势。我们的研究结果强调了根据特定应用的需求选择池化方法的重要性,促使人们重新评估关于池化操作的常见假设。通过提供可操作的见解,本研究有助于优化面向下游任务的基于 LLM 的模型。
发布时间: 11/25/2024
查看原文
作者: Tiziano Piccardi, Martin Saveski, Chenyan Jia, Jeffrey T. Hancock, Jeanne L. Tsai, Michael Bernstein
社交媒体信息流排序算法对政治极化产生负面影响的担忧日益广泛。利用大型语言模型 (LLM) 的最新进展,我们开发了一种实时重新排序信息流的方法,以测试可能导致极化的内容的影响:反民主态度和党派敌意的表达 (AAPA)。在一个在 X/Twitter 上进行的、事先注册的为期 10 天的现场实验中,共有 1256 名同意参与者,我们增加了或减少了参与者在其算法策划的信息流中接触 AAPA 的频率。我们观察到,当减少 AAPA 的曝光率时,对异己群体的积极情绪会更多;而当增加 AAPA 的曝光率时,对异己群体的负面情绪会更多。接触 AAPA 内容还会立即导致负面情绪的增加,例如悲伤和愤怒。这些干预措施不会显著影响传统的参与指标,例如转发和收藏率。这些发现突出了开发信息流算法的潜在途径,该算法可以通过解决破坏健康民主所需共享价值观的内容来减轻情感极化。
发布时间: 11/25/2024
查看原文
作者: Yiqing Bo, Ansh Soni, Sudhanshu Srivastava, Meenakshi Khosla
神经科学和人工智能 (AI) 都面临着解释高维神经数据的挑战,而这类数据的比较分析对于揭示这些复杂系统之间共享的机制和差异至关重要。尽管表征比较被广泛使用,并且存在大量的比较方法,但一个关键问题仍然存在:哪些指标最适合这些比较?一些研究根据指标区分不同来源或结构模型(例如,各种架构)的能力来评估指标,另一种方法是评估它们区分表现出不同行为的模型的能力。为了研究这个问题,我们利用群体统计和一套全面的行为指标进行比较,检查各种表征相似性度量与行为结果之间的一致性程度。在我们对视觉领域中常用的八种表征相似性度量(包括基于比对的、基于典型相关分析 (CCA) 的、基于内积核的和基于最近邻的方法)的评估中,我们发现像线性中心核比对 (CKA) 和普罗克拉斯距离这样的度量,它们强调表征的整体几何结构或形状,在区分训练模型和未训练模型以及与行为测量结果保持一致方面表现出色,而像线性预测性这样的度量(在神经科学中常用)仅表现出与行为适度的一致性。这些见解对于选择强调神经人工智能研究中行为上有意义的比较的指标至关重要。
发布时间: 11/25/2024
查看原文