arXiv:2502.13606v1 Announce Type: cross
摘要：理解人类大脑中神经群体（或体素）的性质可以增进我们对人类感知和认知处理能力的理解，并有助于开发类脑计算机模型。最近使用深度神经网络（DNNs）的编码模型已经成功地预测了体素级的活动。然而，由于DNNs的黑箱性质，解释解释体素反应的性质仍然具有挑战性。为此，我们提出了LLM辅助视觉皮层描述(LaVCa)方法，这是一种数据驱动的方法，使用大型语言模型（LLMs）生成与体素选择性的图像相关的自然语言描述。通过将LaVCa应用于图像诱发的大脑活动，我们表明LaVCa生成的描述比之前提出的方法更准确地描述了体素选择性。此外，LaVCa生成的描述在体素间和体素内的细节方面比现有方法更定量地捕获了更多的详细性质。此外，对LaVCa生成的体素特定性质的详细分析揭示了感兴趣区域（ROIs）内视觉皮层内的精细功能分化，以及同时代表多个不同概念的体素。这些发现通过在整个视觉皮层中为各个体素分类提供了详细的描述，从而为人类的视觉表示提供了深刻的见解，同时突出了LLM基方法在理解大脑表示方面的潜力。请访问我们的网页 https://sites.google.com/view/lavca-llm/
arXiv:2502.13603v1 类别:交叉学科
摘要:直接偏好优化(DPO)是一种高效对齐技术,通过使用偏好数据进行训练来引导LLM产生更可取的输出,从而绕过了明确奖励模型的需要。其简洁性使其能够轻松适应各种领域和安全要求。本文探讨了DPO在对抗jailbreaking攻击方面提升模型安全性的有效性,同时最大限度地减少了数据需求和培训成本。我们引入了Egida数据集,该数据集涵盖了27个不同的安全主题和18种不同的攻击风格,并配备了合成和人工标签。这些数据被用于提升最先进的LLM(包括Llama-3.1-8B/70B-Instruct和Qwen-2.5-7B/72B-Instruct)的安全性,覆盖了各种主题和攻击风格。除了安全性评估,我们还评估了它们在通用任务中的性能下降程度,以及它们过度拒绝的倾向。按照提出的方案,经过训练的模型将攻击成功率降低了10%-30%,使用了较小的训练努力(2,000个样本)和较低的计算成本(8B模型3美元,72B模型20美元)。安全对齐后的模型能够应用于未见过的主题和攻击风格,最成功的攻击风格的成功率约为5%。发现模型的大小和家族对安全性适应性有强烈影响,突显了预训练选择的重要性。为验证我们的发现,作者进行了一个大型独立评估,考察了人类偏好与Llama-Guard-3-8B的一致性,并发布了相关的Egida-HSafe数据集。总体而言,这项研究展示了使用DPO增强LLM安全性的经济性和可访问性,同时也指出了其当前的限制。所有数据集和模型均已发布,以确保可重现性和进一步研究。
arXiv:2502.13595v1 类别: cross
摘要: 文本嵌入通常仅在有限的任务集上进行评估，这些任务受语言、领域和任务多样性的限制。为了解决这些问题并提供更全面的评估，我们引入了大规模多语言文本嵌入基准（MMTEB）——一个社区驱动的MTEB的大规模扩展，涵盖了超过500个质量控制的评估任务，涉及250多种语言。MMTEB包括一系列具有挑战性的、新颖的任务，如指令跟踪、长文档检索和代码检索，代表了迄今为止嵌入模型评估任务的最大多语言集合。利用这个集合，我们制定了几个高度多语言的基准，用于评估代表性模型。我们发现，尽管拥有数十亿参数的大型语言模型（LLMs）可以在某些语言子集和任务类别上达到最先进的性能，但公开可用的最佳性能模型却是只有5.6亿参数的多语言-e5-large-instruct。为了提高可访问性和降低计算成本，我们引入了一种基于任务间相关性的新颖下采样方法，确保多样性的选择同时保持相对模型排名。此外，我们通过采样困难的负样本优化了检索等任务，创建了更小但也有效的分割。这些优化使我们能够引入大大降低计算需求的基准。例如，我们新引入的零样本英语基准在排名顺序上与全规模版本相似，但计算成本仅为后者的几分之一。
arXiv:2502.13576v1 宣告类型: cross
摘要: 在大型基准上评估模型非常耗费资源，尤其是在模型快速演变的时期。现有的高效评估方法通过仅在基准的小且静态的核心集上进行测试来估计目标模型的性能，而该核心集是从源模型的公开评估结果中派生出来的。这些方法依赖于目标模型与源模型具有高预测一致性这一假设。然而，我们证明在实践中这一假设并不成立。为了缓解不一致性问题，我们提出了一种名为TailoredBench的方法，该方法针对每个目标模型进行了定制化的评估。具体而言，首先构建一个全局核心集作为探测器，以识别与每个目标模型最一致的源模型，并采用自适应的源模型选择策略。随后，提出了一种可扩展的K-Medoids聚类算法，将全局核心集扩展为目标模型专属的定制化本地核心集。根据本地核心集的预测，我们通过校准的评估策略获得了目标模型在整个基准上的性能。在跨越300多个模型的5个基准上的全面实验表明，与表现最佳的基线相比，在相同的推理预算下，TailoredBench的准确度估计的平均MAE降低了31.4%，彰显了其强大的有效性和普适性。
arXiv:2502.13562v1 Announce Type: cross
摘要：大规模语言模型（LLMs）在一系列任务中展现了卓越的上下文内推理能力，特别是在处理语言或图像等非结构化输入方面。然而，由于LLMs对非欧几里得结构的理解有限，它们在处理结构化数据（如图）方面存在困难。因此，在经过额外的微调之前，它们在图学习任务中的表现明显落后于图神经网络（GNNs）。在本文中，我们展示了图数据上的学习可以被概念化为检索增强生成（RAG）过程，在这种过程中，特定实例（例如节点或边）作为查询，而图本身作为检索到的上下文。基于这一见解，我们提出了一系列RAG框架，以增强LLMs在图学习任务中的上下文内学习能力。综合评估表明，我们提出的RAG框架显著提高了LLMs在图基任务上的性能，特别是在必须使用未经修改的预训练LLM或通过API访问的情况下。
arXiv:2502.13555v1 Announce Type: cross
摘要：由于图数据中存在稀缺性和噪声，数据增强对于图表示学习是必要的。现有的大多数增强方法在增强过程中忽略了从数据集中继承的上下文信息，这些方法仅依赖于图结构进行增强。尽管一些基于大型语言模型（LLM）的图学习方法取得了成功，但它们大多为白盒结构，需要访问开放访问LLM的权重或潜在特征，这使得它们难以普及给所有人，因为现有的LLM大多由于商业考虑而保持闭源状态。为克服这些限制，我们提出了一种基于LLM的黑盒上下文驱动的图数据增强方法——DemoGraph。利用文本提示作为上下文相关信息，我们让LLM生成知识图谱（KGs），从而使我们能够从文本输出中捕捉结构交互。然后，我们设计了一个动态合并方案，将LLM生成的KGs在训练过程中随机整合到原始图中。为了控制增强图的稀疏性，我们进一步设计了一个粒度感知的提示策略和一个指令微调模块，可以根据数据集的不同粒度级别无缝生成文本提示。在各种图学习任务上的广泛实验验证了我们方法的有效性，优于现有的图数据增强方法。值得注意的是，在涉及电子健康记录（EHRs）的场景中，我们方法的表现尤为出色，这验证了其最大限度地利用上下文知识的能力，提高了预测性能和可解释性。
arXiv:2502.13544v1 类型:交叉
摘要：尽管大型语言模型（LLMs）取得了快速进展，但它们的可调控长度文本生成（LCTG）能力仍然不尽如人意，这为实际应用带来了重大限制。现有方法主要集中在端到端训练以增强对长度约束的遵守。然而，LCTG子能力的缺乏分解和针对性增强限制了进一步的进步。为了解决这一差距，我们以人类模式为参考，进行了自底向上的LCTG子能力分解，并进行了详细错误分析。在此基础上，我们提出了一个简单而有效的Plug-and-Play方法MarkerGen，其包括：（1）通过外部工具集成来缓解LLM的基本缺陷；（2）通过动态插入标记进行显式的长度建模；（3）采用三阶段生成方案以更好地对齐长度约束同时保持内容质量。全面的实验表明，MarkerGen显著改进了各种设置下LCTG的效果，显示出卓越的有效性和泛化能力。
arXiv:2502.13542v1 类型: cross
摘要: 近期大规模语言模型（LLMs）在长上下文任务中展示了出色的表现，但在有限的GPU内存下面临着显著的推理效率挑战。现有解决方案首先提出了滑动窗口方法来累积一组可重用的历史 \textbf{关键-值}（KV）对，然后在每一步进一步保留其子集。然而，由于长上下文中注意力分布稀疏，很难识别和回忆相关的KV对，因为在众多候选对中注意力容易分散。此外，我们发现，在每个滑动窗口中选择具有代表性的标记作为探针-查询，有效地代表整个上下文，这是一种现有方法所忽视的方法。因此，我们提出了一种无需训练、基于激活的 \textbf{ActQKV} 方法，该方法动态确定探针-查询，并利用其在填充前阶段检索相关的KV对。具体而言，ActQKV 监控每个上下文窗口中的标记级指示符，激活偏差，使能够在填充前阶段正确构造用于检索的探针-查询。为了准确回忆相关的KV对并最小化无关的KV对，我们设计了一种由解码阶段跨层信息密度引导的动态KV截断机制。在Long-Bench和$\infty$ Benchmarks上的实验展示了其在保持竞争力的推理质量和资源效率的同时具有最先进的性能。
arXiv:2502.13534v1 Announce Type: cross
摘要：Harrow-Hassidim-Lloyd (HHL) 算法在解决量子线性系统问题方面提供了指数级别的加速。但是，加速的一些先决条件可能难以满足。其中的一个困难是编码瓶颈，即高效准备初始量子态。为了精确准备一个 $N$ 维状态，现有态准备方法通常需要运行时间为 $O(N)$，这将破坏 HHL 算法的加速优势。在这里，我们展示了通过使用 HHL 算法本身的略微修改版本，可以以 $O(\text{poly}(\log N))$ 的运行时间近似准备这些状态。因此，将这种方法应用于原始 HHL 算法的初始状态准备可以保留指数级别的加速优势。此外，这种方法也可以作为其他需要快速态准备的应用的独立解决方案。
arXiv:2502.13533v1 交叉公告类型
摘要：大规模语言模型（LLMs）在自然语言处理任务中取得了显著进展，具备出色的任务泛化能力。低秩调整（LoRA）提供了一种成本效益高的微调解决方案，冻结原始模型参数，仅训练轻量级的低秩适配矩阵。然而，LoRA的内存占用主要由原始模型参数主导。为了解决这一问题，我们提出了一种名为LoRAM的高效LoRA训练方案，基于以下直觉：许多在过度参数化的LLM中有很多神经元在训练中几乎没有用处，但在推理中却是必不可少的。LoRAM提供了一个独特的视角：在修剪后的（小）模型上进行训练以获得修剪后的低秩矩阵，然后利用原始（大）模型进行推理。此外，模型发布者预先进行的低成本连续预训练能够使修剪后的模型与原始模型之间的知识差距保持一致。我们广泛的实验表明，LoRAM在各种修剪策略和下游任务中都表现出有效性。对于一个拥有700亿参数的模型，LoRAM使得在只有20G HBM的GPU上进行训练成为可能，替代了用于LoRA训练的A100-80G GPU和用于全程微调的15个GPU。特别是，通过结构化修剪结合4位量化实现的QLoRAM，对于LLaMA-3.1-70B（LLaMA-2-70B）减少了低秩矩阵训练中占据内存使用的参数存储成本15.81倍（16.95倍），同时在性能上显著优于原始的LLaMA-3.1-70B（LLaMA-2-70B）和LoRA训练的LLaMA-3.1-8B（LLaMA-2-13B）。