arXiv:2502.04421v1 类型: cross
摘要：我们提出了一种方法，用于识别最有可能攻击特定实体的勒索软件对手，从而帮助这些实体制定更好的防护策略。勒索软件构成了一个由利润驱动的、支持犯罪组织的复杂经济体系支持的、以公开攻击为特征的网络安全威胁。这种类型的恶意软件一直是最常见的，并且其活动迅速增加。最近的估计显示，大约三分之二的组织在2023年经历了勒索软件攻击（参见Sophos2023Ransomware）。勒索软件战役中的一个主要策略是公开攻击以迫使受害者支付赎金。我们的研究利用勒索软件受害者发布的公开数据来预测特定勒索软件变种可能攻击某个实体的可能性。我们采用了一种大型语言模型（LLM）架构，使用一种独特的多轮提示方法从勒索软件公告、威胁报告和新闻中定义对手SKRAM（技能、知识、资源、 authority 和动机）档案。这项分析利用了公开可用的受害者数据，并通过生成反映受害者档案的合成数据进一步增强。我们的工作最终导致开发了一种机器学习模型，该模型可帮助组织优先考虑勒索软件威胁并根据最可能的攻击者的战术、技术和程序（TTP）制定防御措施。
arXiv:2502.04420v1 宣布类型: 横向
摘要: 在长上下文和大批次大小的情景下，KV缓存量化可以提高大型语言模型（LLMs）的推理吞吐量和延迟，同时保持LLMs的有效性。然而，当前的方法存在三个未解决的问题：忽略了层间对KV缓存量化的影响灵敏度，在线进行精细调整的高昂开销，以及对不同LLMs和约束条件的较低灵活性。因此，我们深入分析了层间变压器注意力模式与KV缓存量化误差之间的固有关系，并探讨了为什么关键缓存比值存缓存对于量化误差减少更重要。我们进一步提出了一种简单而有效的框架KVTuner，以多目标优化方式自适应搜索适用于粗粒度KV缓存的最佳硬件友好层间KV量化精度配对，并直接在线推理过程中使用 Offline 搜索到的配置。为了减少 Offline 校准的计算成本，我们利用层内KV精度配对剪枝和层间聚类来减少搜索空间。实验结果表明，我们可以在 LLMs 如 llama-3.1-8B-Instruct 和敏感模型如 Qwen2.5-7B-Instruct 的数学推理任务中实现几乎无损的 3.25 位混合精度 KV 缓存量化，并在各种上下文长度上，相比于 KV8 量化，推理吞吐量可提高 38.3%。
arXiv:2502.04419v1 Announce Type: cross
摘要：通过大型语言模型（LLMs）本身生成合成数据集已成为提高LLM性能的一种有潜力的方法。然而，LLMs本质上反映了其训练数据中存在的偏差，这导致了一个关键挑战：当这些模型生成用于训练的合成数据时，它们可能会传播和放大其固有的偏差，这些偏差可以显著影响下游任务中的模型公平性和鲁棒性——我们称这种现象为偏差继承。本文提出了首个系统性地研究、分析和缓解偏差继承的工作。我们通过微调LLMs，使用包含原始数据和LLM增强数据的组合数据集来研究这一问题，其中偏差比例代表增强数据的比例。通过在10个分类和生成任务上的系统实验，我们分析了不同类型的偏差在不同偏差比例下的表现。我们的结果揭示了偏差继承对下游任务的影响具有复杂性，对分类任务和生成任务的影响不同。然后，我们的分析识别了三个关键的不一致性因素：价值观的不一致、群组数据的不一致和数据分布的不一致。基于这些见解，我们提出了三种缓解策略：基于令牌、基于掩码和基于损失的方法。实验表明，这些策略在不同任务和偏差上的效果不同，说明了完全缓解偏差继承的显著挑战。我们希望这项工作可以为LLM数据增强的研究提供有价值的见解。
arXiv:2502.04418v1 类别: cross
摘要：本文提供了自主自发强化学习（RL）的全面概述，强调内在动机在开放性技能 repertoire 形成中的作用。我们明确了知识驱动型和能力驱动型内在动机的区别，解释了这些概念如何指导自主智能体的发展，使其能够自我定义并追求目标。研究了内在动机驱动的目标探索过程（IMGEPs）的类型学，重点探讨了其对多目标 RL 和发展型机器人技术的含义。将自主自发学习问题置于无奖励马尔可夫决策过程（MDP）的框架内，其中智能体必须自主地表示、生成和掌握自己的目标。本文讨论了评估此类智能体的独特挑战，提出了衡量探索、泛化和复杂环境中鲁棒性的各种指标。旨在推进对自主自发 RL 智能体及其在多样和动态环境中的技能获取潜力的理解。
arXiv:2502.04417v1 宣传类型：交叉
摘要：交通运输部门对温室气体排放贡献巨大，需要准确的排放模型来指导减排策略。尽管经过了实地验证和认证，行业标准的汽车排放模拟器（MOVES）仍面临着使用上的复杂性、高计算需求以及不适合微观实时应用的问题。为了应对这些局限，我们提出了NeuralMOVES，这是一种高性能的轻量级代理模型套装，用于车辆二氧化碳排放。NeuralMOVES基于逆向工程和神经网络开发，其相对于MOVES在超过两百万种不同轨迹和环境、车辆因素的广泛测试中，平均百分比误差达到了6.013%。NeuralMOVES体积仅为2.4 MB，极大地压缩了原始MOVES和逆向工程的MOVES，同时保持了高精度。因此，NeuralMOVES在提高易用性的同时，保持了MOVES的准确性，简化了交通运输分析中的二氧化碳评估，并能够在各种场景下实现实时、微细级别的应用，无需依赖复杂软件或大量计算资源。此外，本文首次提供了针对交通运输场景的工业级软件逆向工程框架，超越了MOVES的范围。代理模型可在 https://github.com/edgar-rs/neuralMOVES 获取。
arXiv:2502.04416v1 类型: cross
摘要: 大型语言模型（LLMs）通过扩展模型参数实现了令人印象深刻的表现，但这伴随着显著的推理开销。前向网络（FFNs），在LLM参数中占据主导地位，表现出在隐藏神经元中的高激活稀疏性。为了利用这一点，研究人员提出了使用混合专家（MoE）架构，其中只激活一部分参数。然而，现有方法通常需要大量的训练数据和资源，限制了其实用性。我们提出了一种新的框架CMoE（Carved MoE），以有效地从密集模型中雕刻MoE模型。CMoE 通过高效的专家分组和轻量级适应实现了卓越的性能。首先，基于激活率将神经元分组为共享专家和路由专家。随后，我们构建了一种无需从头开始训练的路由机制，其中包括可微路由过程和负载均衡。使用少量数据，CMoE 可以在五分钟内从一个7B的密集模型中生成一个设计良好且可使用的MoE模型。通过轻量级微调，它可以在不到一小时内实现高性能恢复。我们将在 https://github.com/JarvisPei/CMoE 上公开我们的代码。
arXiv:2502.04415v1 类别: 相交
摘要: TerraQ 是一个用于卫星图像档案的空间时间问答引擎。它是一个构建用于处理满足特定条件的卫星图像请求的自然语言处理系统。这些请求可以引用图像元数据和特殊知识库中的实体（例如，艾米利亚-罗马涅地区）。借助此系统，用户可以制作类似“给我法国港口附近的河流卫星图像100张，覆盖雪的比例少于20%，且云覆盖比例超过10%”的请求，从而使地球观测数据更加易于访问，符合当前数字助手的格局。
arXiv:2502.04413v1 类型：交叉学科
摘要：检索增强生成（RAG）是一种非常适合检索隐私敏感的电子健康记录（EHR）的技术。它可以作为医疗 copilot 的关键模块，帮助减少医护人员和患者误诊的风险。然而，现有基于启发式方法的 RAG 模型在医疗领域中的诊断准确性和特异性不足，特别是在相似临床表现的疾病诊断上。本文提出了一种名为 MedRAG 的 RAG 模型，该模型通过知识图谱（KG）引发的推理增强，依据临床表现检索诊断和治疗建议。MedRAG 有条不紊地构建了一个全面的四层级医疗诊断知识图谱，涵盖了各种疾病的关键诊断差异。这些差异动态地与从 EHR 数据库检索的相似 EHR 集成，并在大型语言模型中进行推理。这一过程使决策支持更加准确和具体，同时主动提供了后续问题以增强个性化的医疗决策。MedRAG 在公开数据集 DDXPlus 和来自淡马锡综合医院的私人慢性疼痛诊断数据集（CPDD）上进行了评估，并将其性能与各种现有的 RAG 方法进行了比较。实验结果显示，利用知识图谱的信息整合和关系能力，MedRAG 提供了更具针对性的诊断洞察，并在降低误诊率方面优于最新的模型。我们的代码将可在 https://github.com/SNOWTEAM2023/MedRAG 可用。
arXiv:2502.04412v1 宣称类型: cross
摘要：文本到图像生成领域近期取得了突破性的进展，这得益于扩散模型的出现。这些模型展现出一种非凡的能力，能够根据文本提示生成高度艺术化和精细详细的照片。然而，获得预期的生成结果通常需要反复调整文本提示，正如对魔镜施法一般，这是因为当前图像生成模型内在的语义理解能力有限。具体来说，现有的扩散模型使用预训练的编码器结构来编码文本提示输入，而这种结构通常是在有限数量的图像-描述对上进行训练的。基于仅解码器结构的最新大型语言模型（LLMs）展示了强大的语义理解能力，因为它们的架构更适用于大规模无标记者数据的训练。在本工作中，我们提出了通过借用大型语言模型的语义理解能力来增强文本到图像的扩散模型，并设计了一个简单而有效的适配器，使得扩散模型能够与仅解码器结构兼容。同时，我们还提供了各种架构（例如仅编码器、编码器-解码器和仅解码器）的支持理论分析，并进行了广泛的实证评估以验证其有效性。实验结果表明，配备了我们适配器模块的增强模型相比最先进的模型在文本到图像生成的质量和可靠性方面更优越。
arXiv:2502.04411v1 宣布类型: cross
摘要: 模型合并将具有不同任务微调的大型语言模型（LLMs）聚合为一个更强的模型。然而，模型参数之间的冲突导致平均过程中的性能下降。尽管通过选择个别模型来避免这种问题可以解决此问题，但在推理过程中会引发过高的存储和计算成本，并且无法利用不同模型的共同知识。在本工作中，我们观察到不同的层表现出不同水平的参数冲突。基于这一洞察，我们将参数冲突较少的层进行平均，并使用一种新颖的任务级专家路由来处理具有显著冲突的层。为了进一步减少存储成本，借鉴任务算术稀疏性的理念，我们将多个微调专家解耦为一个密集专家和若干稀疏专家。考虑到离分布样本，我们根据输入数据的任务不确定性选择并合并合适的专家。我们在不同的参数规模下对LLaMA和Qwen进行了广泛的实验，并在现实世界的推理任务上进行了评估。结果表明，与现有方法相比，我们的方法在系统成本较低的情况下，能够实现显著的性能提升。