arXiv:2409.13723v2 通知类型: 替换-交叉
摘要：近年来，机器学习（ML）取得了快速进展，革新了金融、医疗和网络安全等领域。在恶意软件检测中，基于ML的方法已展现出高准确度；然而，它们缺乏透明性，构成了一个重大挑战。传统的黑盒模型往往无法为预测结果提供可解释的依据，这限制了它们在需要理解检测背后原因的危急安全环境中（例如威胁缓解和响应）的应用。可解释的人工智能（XAI）通过增强模型的可解释性来弥补这一差距，同时保持强大的检测能力。本综述提供了一种全面回顾最新的ML技术在恶意软件分析中的应用，重点关注解释性方法。我们审视了现有的XAI框架、它们在恶意软件分类和检测中的应用，及其使恶意软件检测模型更具可解释性的挑战。此外，我们探讨了最近的发展，并指出了可解释恶意软件分析领域中尚未解决的研究挑战。通过提供一种结构化的XAI驱动恶意软件检测方法的概述，本文综述旨在为研究人员和实践者在提高ML性能与解释性之间的 Gap 提供有价值的研究资源。
arXiv:2409.05672v2 推文类型: 替换交叉
摘要：异常检测（OD）具有丰富的文献，因为它在许多实际应用中都有广泛的应用。作为一个本质上是无监督的任务，对于无标签监督的OD，模型选择是一个关键瓶颈。尽管有很多可供选择的OD技术，但在选择算法和超参数时仍然存在挑战，这限制了OD在实际中的有效应用。本文中，我们提出了FoMo-0D，这是一个用于表格数据零/无监督OD的预训练基础模型，它绕过了模型选择的障碍。为了克服标记数据收集的困难，FoMo-0D 在合成数据上进行了训练，并可以不需要调整参数直接预测测试样本的（异常值/内点）标签 —— 这使得当给定一个新的OD数据集时，选择算法/架构和调整其相关超参数的需求变得多余。在针对26种基线方法的57个实际数据集上进行的大量实验显示，FoMo-0D 显著优于大多数基线方法，并且在统计学上与第二好的方法没有显著差异，平均每样本推理时间为7.7毫秒，相较于先前的方法至少快7倍。为了促进未来的研究，我们的实现和检查点已在 https://anonymous.4open.science/r/PFN40D 公开可用。
arXiv:2409.02908v4 Announce Type: replace-cross
摘要：掩码扩散模型（MDMs）因其在生成离散数据方面超过其他离散扩散模型的卓越性能而成为研究热点，并且在语言建模任务中正逐渐挑战自回归模型（ARMs）。最近企图进一步简化掩码扩散框架使其与连续空间扩散模型对齐，并提供了更多的原则性训练和采样方法。然而，在本文中，我们揭示了MDMs在训练和采样过程中理论上与时间变量无关，可以说这是扩散模型的关键特征，而实际上是等同于掩码模型的。我们在采样方面通过我们提出的首次击中采样器（FHS）建立了这种连接。具体来说，我们证明FHS在理论上等同于MDMs原始的生成过程，同时显著缓解了耗时的分类采样，并实现了20倍的速度提升。此外，我们的研究对MDMs是否能真正超越ARMs在文本生成中的能力产生了疑问。我们首次识别出即使使用常见的32位浮点精度，也存在潜在的数值问题，这导致了不准确的分类采样。我们从理论上和实验上都证明了这降低了有效温度，而且由此导致的词汇多样性降低使先前仅通过不完整的生成 perplexity 计量评估生成质量的评价变得有些不公平。
arXiv:2408.11182v2 Announce Type: replace-cross
摘要：大语言模型（LLM）脱狱是指一种旨在绕过LLM的安全保障，生成与安全使用指南不一致内容的攻击类型。基于对自注意力计算过程的洞察，本文提出了一种新的黑盒脱狱方法，该方法通过在载体文章中战略性地注入被禁止的查询来构建负载提示。载体文章在语义上与被禁止的查询保持接近，这是通过将超词义文章和上下文（两者都是从被禁止的查询生成的）结合起来生成的。使用载体文章的直觉是为了激活与被禁止查询的语义相关的模型神经元，同时抑制会导致不恰当文本的神经元。载体文章本身是无害的，我们利用提示注入技术生成了负载提示。我们使用JailbreakBench进行了评估，在不同目标模型上测试了100个不同的脱狱目标。实验结果表明，我们方法的优越性，其在所有目标模型上的平均成功率为63%，显著优于现有的黑盒脱狱方法。
arXiv:2408.09639v2 宣告类型：替换-交叉
摘要：语言模型（LMs）的句法知识通常通过语言最小对的方法进行测量，其中要求LMs对一组可接受和不可接受的句子进行判断，并比较它们对这些句子的接受程度。传统的做法是直接比较LMs分配的句子概率，但近年来的大规模语言模型（LLMs）则是通过提示进行训练执行任务，因此它们分配的原始概率可能不能完全反映它们的句法知识。本研究试图通过提示和模板从LLMs中提取更准确的接受度判断。通过在英语和汉语中的广泛应用实验，我们比较了九种判断方法，并发现其中两种方法，一种基于概率读取的方法——模板内概率（in-template LP）和一种基于提示的方法——是/否概率计算，其准确度高于传统的做法。我们的分析表明，这些方法在不同的语言现象中表现出色，暗示它们可以访问LLMs知识的不同方面。我们还发现，将这两种方法联合使用的效果优于单独使用。因此，我们建议这些技术，无论是单独使用还是联合使用，作为评估LLMs句法知识的更有效替代方法，相比传统的做法。
arXiv:2408.09121v3 公告类型: replace-cross
摘要: 近年来，大规模语言模型（LLMs）通过从自然语言自动生成代码，彻底改变了软件开发。然而，在生成完全符合用户意图的代码方面仍然存在挑战。我们的研究表明，随着生成的代码token数量增加，LLMs往往会更少地关注用户的提示。我们推测，这种注意力稀释问题是代码生成错误的一个重要原因。为了缓解这一问题，我们提出了一种选择性提示锚定（Selective Prompt Anchoring，SPA）方法，以指导代码LLMs在生成代码时更多地关注用户意图。我们使用六种基础LLM在六项基准测试中评估了SPA。我们的结果显示，SPA在所有设置中都超过了最先进的代码生成方法，最高提高了12.9%的Pass@1。我们的代码可在 https://github.com/magic-YuanTian/Selective-Prompt-Anchoring 获取。
arXiv:2408.06381v2 宣告类型: replace-cross
摘要：细胞核实例分割是数字肾病理学中的一个关键任务。传统自动分割方法在应用于未见过的数据集时往往缺乏通用性。最近，基础模型（FMs）的成功提供了一种更通用的解决方案，可能能够分割任何类型的细胞。在这项研究中，我们对三种广泛使用的当前最佳（SOTA）细胞核基础模型（Cellpose、StarDist 和 CellViT）进行了大规模评估。具体而言，我们创建了一个高度多样性的评估数据集，其中包括2,542张肾全切片图像（WSIs），这些图像来源于人类和啮齿类动物，涵盖了多种组织类型、尺寸和染色方法。据我们所知，这是迄今为止此类评估中规模最大的一次。我们对预测分布的定量分析揭示了一个持续存在的性能差距，特别是在肾病理学中。在评估的模型中，CellViT 在分割肾病理学中的细胞核方面表现更优越。然而，没有任何基础模型是完美的；在肾病理学中的一般细胞核分割仍然存在性能差距。
arXiv:2408.04295v3 通知类型: 替换交叉
摘要：多智能体近端策略优化（MAPPO）最近在具有挑战性的多智能体强化学习任务中展示了最先进的性能。然而，MAPPO仍然难以解决信用分配问题，即在将信用分配给个体智能体的动作时，难度随着团队规模的增大而急剧增加。在本文中，我们提出了一种多智能体强化学习算法，该算法适应了信用分配领域的 recent 发展，以改进 MAPPO。我们的方法利用了部分奖励解耦（PRD），该方法使用一个学习到的注意机制来估计哪些特定智能体的队友对其学习更新是相关的。我们利用这个估计值动态地将大组智能体分解为更小、更易管理的子组。我们通过实验展示了我们的方法 PRD-MAPPO 能够将对智能体未来奖励期望无影响的队友从智能体中解耦，从而简化了信用分配。此外，我们还证明了 PRD-MAPPO 在多个多智能体任务中（包括 StarCraft II）的数据效率和渐近性能显著优于 MAPPO 和其他最先进的方法。最后，我们提出了一个适用于共享奖励设置的 PRD-MAPPO 版本，而在这种设置中 PRD 之前是不适用的，并通过实验展示了这种方法也进一步提高了 MAPPO 的性能。
arXiv:2407.15831v2 宣告类型: replace-cross
摘要：文本嵌入模型在诸如语义搜索和基于检索增强生成（RAG）的问答系统等信息检索应用中非常流行。这些模型通常是通过对比学习目标进行微调的Transformer模型。微调嵌入模型的一个具有挑战性的方面是选择高质量的负样本（hard-negative）段落进行对比学习。在本文中，我们介绍了一类正样本感知的挖掘方法，它们使用正相关分数作为有效的负样本移除锚点，从而加快训练速度并提高检索模型的准确性。我们对硬负样本挖掘方法进行了消融研究，探索了不同的教师模型和基础模型配置。此外，我们还展示了我们提出的挖掘方法在NV-Retriever-v1模型中的有效性，该模型在MTEB Retrieval（BEIR）基准上的得分为60.9，并且在2024年7月发布到MTEB Retrieval时排在第一位。
arXiv:2407.14095v2 宣告类型: 替换-交叉
摘要：人们可以在我们有效解决这些问题之前，就很好地评估问题及其潜在解决方案的特征。举个例子，当我们从未玩过某款游戏时，仅从听到游戏规则，就可能推断出这款游戏是否具有挑战性、公平性或趣味性，从而决定是否投入时间学习这款游戏或更好地玩这款游戏。许多关于游戏玩法的研究集中在最优性和专业水平上，通过中等到大量搜索，并在玩了几十次（如果不是数百次或上万次）游戏之后，来描述人们和计算模型如何玩游戏。在这里，我们研究人们如何推理一系列简单但新颖的连扳-N风格的棋盘游戏。我们请人们仅凭几分钟的思考来判断这些游戏的公平性和趣味性：在他们从未与他人实际玩过之前，我们提出了一种资源限制模型，仅使用少量的部分游戏模拟和几乎不进行前瞻搜索，就能捕捉到他们的判断。