arXiv:2502.07115v2 通知类型: replace-cross
摘要：大型语言模型（LLM）推理是指训练好的模型在接收到用户提示后逐字生成文本的过程，这是一个计算密集型的过程，需要高效的调度来优化延迟和资源利用率。LLM推理中的关键挑战是在K-V缓存管理方面，K-V缓存减少了冗余计算但带来了内存限制。在本文中，我们从理论上对K-V缓存约束下的LLM推理进行了建模，并提出了新颖的分批和调度算法，以最小化推理延迟同时有效管理K-V缓存的内存。
我们分析了半在线和完全在线调度模型，并且我们的结果分为三个方面。首先，我们提供了一个多项式时间算法，在半在线提示到达模型中实现了平均延迟的精确最优。其次，在具有随机提示到达的完全在线情况下，我们引入了一个高效的一站式调度算法，具有常数后悔。第三，我们证明在完全在线对抗环境中，没有任何算法（确定性或随机性）能实现恒定的竞争比。我们在公共LLM推理数据集上的实证评估使用了A100 GPU上的Llama-70B模型，结果显示我们的方法在降低延迟和减少能耗方面显著优于当前实践中使用的基准算法。总体而言，我们的结果提供了一条通往更可持续和成本效益更高的LLM部署的途径。
arXiv:2502.07049v2 宣告类型: replace-cross
摘要：大型语言模型（LLMs）正在成为软件漏洞检测的变革性工具，解决了安全领域的关键挑战。传统方法，如静态分析和动态分析，由于效率低下、高误报率和现代软件系统的日益复杂性而常常失效。通过利用其对代码结构进行分析、识别模式和生成修复建议的能力，LLMs，如GPT、BERT和CodeBERT等模型，提供了一种新的、可扩展的漏洞缓解方法。本文对LLMs在漏洞检测中的应用进行了详尽的综述。它考察了关键方面，包括模型架构、应用方法、目标语言、微调策略、数据集和评估指标。我们还分析了当前研究问题的范围，强调了现有方法的优势和不足。此外，我们还探讨了跨语言漏洞检测、多模态数据集成和仓库级别分析等方面的挑战。基于这些发现，我们提出了解决问题的方案，如数据集可扩展性、模型可解释性和在资源有限场景中的应用。我们的贡献包括三个方面：（1）系统回顾LLMs在漏洞检测中的应用；（2）分析研究间的共同模式和差异，并提供一个统一的框架来理解该领域；（3）总结关键挑战和未来研究方向。这项工作为基于LLM的漏洞检测提供了有价值的见解。我们还维护并定期更新最新的精选论文，网址为https://github.com/OwenSanzas/LLM-For-Vulnerability-Detection
arXiv:2502.06924v2 通知类型: replace-cross
摘要：状态空间模型（SSMs）已成为序列数据任务中变压器的有效替代方案，提供了随序列长度线性或近乎线性的可扩展性，使其成为长序列在自然语言处理、视觉和边缘AI中的理想选择，包括实时转录、翻译和上下文搜索。这些应用需要在资源受限的设备（如笔记本电脑和台式机）上进行轻量级、高性能的模型部署。为每种新兴神经网络设计专门的加速器成本高昂且不切实际；相反，优化现有的AI台式机中的神经处理单元（NPU）以满足关键性能指标（KPI）要求，提供了一种可扩展的解决方案。为此，我们提出了XAMBA，这是第一个用于使状态空间模型能够在商用现成（COTS）的最先进的（SOTA）NPU上运行和优化的框架。XAMBA遵循三步方法论：（1）使NPU上运行状态空间模型，（2）优化性能以满足KPI要求，（3）通过牺牲一些准确性来获得额外的性能增益。在使NPU上运行状态空间模型之后，XAMBA通过CumBA和ReduBA来缓解关键瓶颈，用基于矩阵的计算替换顺序的CumSum和ReduceSum操作，显著提高执行速度和内存效率。此外，ActiBA通过使用分段线性映射近似昂贵的激活函数（例如，Swish、Softplus），减少延迟并最小化准确性损失，从而提高性能。对Intel Core Ultra Series 2 AI台式机的评估显示，XAMBA比基线快2.6倍。我们的实现可在https://github.com/arghadippurdue/XAMBA获取。
arXiv:2502.06921v2 通知类型: replace-cross
摘要：图神经网络（GNNs）对于从结构化数据中学习至关重要，它们使网络分析、推荐系统和语音分析等应用成为可能。将它们部署在边缘设备如客户端PC和笔记本电脑上可以增强实时处理能力、隐私保护和对云计算的独立性。GNNs有助于大型语言模型（LLMs）的检索增强生成（RAG）任务，并使事件驱动的视觉任务成为可能。然而，不规则的内存访问、稀疏性和动态结构在资源受限的设备上导致高延迟和能源开销。尽管现代边缘处理器集成了CPU、GPU和NPU，但针对数据并行任务设计的NPU在处理不规则的GNN计算时存在困难。我们引入了GraNNite，这是一个首个硬件感知框架，通过结构化的三步方法优化商业现货（COTS）最先进的DNN加速器上的GNN执行：（1）启用NPU执行，（2）优化性能，（3）在质量与效率之间进行权衡。第一步使用GraphSplit进行工作负载分布和StaGr进行静态聚合，而GrAd和NodePad处理动态图。第二步通过EffOp提升控制密集型任务的性能，并使用GraSp利用稀疏性。图卷积优化PreG、SymG和CacheG减少冗余并减少内存传输。第三步在质量和效率之间进行平衡，其中QuantGr应用INT8量化，而GrAx1、GrAx2和GrAx3加速注意力、广播加法和SAGE-max聚合。在Intel Core Ultra AI PC上，GraNNite在默认NPU映射上的速度提高了2.6倍至7.6倍，在CPU和GPU上的能效提高了8.6倍，并且与CPU和GPU相比，分别实现了10.8倍和6.7倍的更高性能，覆盖所有GNN模型。
arXiv:2502.06913v2 通知类型: replace-cross
摘要：当今存在的蛋白质在数十亿年的时间尺度上经过自然选择和随机突变的优化，期间自然选择创造并筛选了突变体。功能上有希望的突变的发现受到了可进化的区域有限性的挑战，即只有适应性景观上很小的一部分区域是有益的。在诸多用于限制蛋白质进化到具有高适应性变体区域的方法中，蛋白质复合体在突变后的结合自由能变化（DDG）是最常用的一种先验知识。然而，巨大的突变空间带来了两个挑战：（1）如何提高DDG预测的效率，以加快突变筛选的速度；以及（2）如何解释突变偏好并有效地探索可访问的进化区域。为了解决这些挑战，我们提出了一种轻量级的DDG预测器（Light-DDG），它采用了结构感知的Transformer作为骨干，并通过已有强大但计算密集的DDG预测器的知识蒸馏对其进行增强。此外，我们还增加了、注释并发布了包含数百万突变数据的大规模数据集，用于预训练Light-DDG。我们发现这种简单而有效的Light-DDG可以作为良好的无监督抗体优化器和解释器。对于目标抗体，我们提出了一个新的突变解释器来学习突变偏好，它考虑了每个位点每个突变的边际收益。为了进一步探索可访问的进化区域，我们进行了偏好引导的抗体优化，并使用Light-DDG快速评估抗体候选物以识别理想的突变。
arXiv:2502.06876v2 公告类型: replace-cross
摘要：在帮助性、诚实性和无害性（3H 优化）方面实现大型语言模型（LLMs）的均衡对齐构成负责任的人工智能的基本支柱，现有的方法，如数据混合策略，存在依赖专家知识和优化信号冲突的局限性。尽管模型合并作为一种有希望的替代方案通过整合专门化的模型提供了可能性，但在3H优化方面的潜力尚未得到充分探索。本文建立了第一个针对3H对齐LLMs的全面模型合并基准，在帮助性、诚实性和无害性五个标注维度、两种LLM家族和两种训练范式相关的10个数据集中系统地评估了15种方法（12种无训练的模型合并和3种数据混合技术）。我们的分析揭示了三个关键见解：（i）3H维度之间以前未被注意到的协作/冲突关系，（ii）在权衡对齐方面的合并模型在均衡对齐方面的一贯优越性优于数据混合方法，以及（iii）通过冗余组件剪枝和异常值缓解参数级别冲突解决的关键作用。基于这些发现，我们提出了R-TSVM（ Reweighting-enhanced Task Singular Vector Merging）方法，该方法结合了异常值意识参数权重和根据LLMs的重尾参数分布和稀疏性进行自适应秩选择策略，进一步提高了多次评估中的LLM对齐。我们已发布经过训练的模型供进一步探索。
arXiv:2502.06808v2 通知类型: 替换-交叉
摘要：图域适应（GDA）解决了交叉网络学习中的迫切挑战，特别是在现实世界图数据集中不存在标记数据的情况下。近期的研究试图通过消除图之间的结构变化来学习域不变表示。在本文中，我们表明现有的方法忽视了图节点属性的重要性，这是图域对齐的一个关键因素。具体而言，我们首先通过理论证明，除了域之间的图结构差异外，节点属性差异在GDA中也起到了关键作用。此外，我们还通过实验证明，属性变化比拓扑变化更为显著，这进一步强调了在GDA中节点属性对齐的重要性。受这一发现的启发，我们开发了一个新的跨通道模块，用于在源图和目标图之间融合和对齐两种视图。在多种基准上的实验结果验证了我们方法的有效性。
arXiv:2502.06759v2 通知类型: replace-cross
摘要: 我们介绍了一个生成链式思维（Chain-of-Thought，CoT）推理论述的框架，以增强文本到SQL模型的微调。这些推理论述由中间的SQL语句和解释组成，作为构建最终SQL查询的逐步步骤。该过程始于手动标注一小组示例，然后使用这些示例以迭代和动态的少量演示知识精炼程序来引导一个大型语言模型从教师模型。随后，使用验证过的分解查询训练一个推理论证模型，从而为文本到SQL数据集生成大量的合成CoT注释。为了评估这种方法，我们使用带有和不带有这些推理论述的小型语言模型对BIRD数据集进行了微调。结果表明，逐步查询生成可以提高执行准确性，特别是在中等复杂度和高复杂度的查询方面，同时也能增强解释性。
arXiv:2502.06635v2 宣布类型: 替换-交叉
摘要: Steel-LLM 是一个基于中文的语言模型，从头开始开发，旨在利用有限的计算资源创建一个高质量的开源模型。该项目于2024年3月启动，旨在使用大规模数据集训练一个包含10亿参数的模型，强调透明度和实用见解的分享，以协助社区中的其他人。训练过程主要集中在中文数据上，其中包括少量的英语数据，通过提供更详细和实用的建模之旅的说明来弥补现有开源LLM中的空白。Steel-LLM 在诸如CEVAL和CMMLU等基准测试中表现出竞争力，优于大型机构早期的模型。本文提供了该项目关键贡献的全面总结，包括数据收集、模型设计、训练方法以及沿途遇到的挑战，为研究人员和从业者开发自己的LLM提供有价值的资源。该模型检查点和训练脚本可访问 https://github.com/zhanshijinwat/Steel-LLM。
arXiv:2502.06607v2 宣告类型: replace-cross
摘要：当前，环境犯罪是全球第三大犯罪活动，同时威胁着生态系统和人类健康。在与这一活动相关的犯罪中，由于高分辨率遥感图像的日益可用和成本降低，不合规废物管理如今可以更轻易地被遏制。这些高分辨率遥感图像能够使半自动地扫描领土，寻找非法填埋场。本文提出了一条由地方环境机构的专业人士与我们合作开发的管道，利用遥感图像分类器检测潜在的非法倾倒场地。为了识别此类分类器的最佳配置，进行了大量的实验，并详细分析了多种图像特征和训练设置的影响。随后，地方环境机构参与了一次实验活动，将开发出的分类器的输出整合到专业人士的日常工作当中，从而节省了手动图像解释所需的时间。最终，分类器在外训练区域之外的一个位置上运行，并取得了有价值的成果，这表明了提出管道的跨区域适用潜力。