arXiv:2410.17477v4 公告类型: replace-cross
摘要：大型语言模型（LLMs）在日常生活中的重要性增长主要是由于它们的生成能力，但这也部分归因于其使用所带来的风险和成本。一方面，LLMs 有虚构或误导性信息的倾向，这限制了它们的可靠性。另一方面，人们对传统基于自注意力的LLMs的计算限制的关注不断增加，这催生了新的替代方案，特别是循环模型，旨在克服这些问题。然而，同时考虑这两种关注点的情况仍然较为罕见。结构上的变化是否会加剧/减轻现有关于虚构信息的关切？它们是否会以不同的方式和地点引发虚构信息？通过广泛的评估，我们研究了这些基于结构的归纳偏见如何影响虚构信息的倾向。虽然虚构信息是一种普遍现象，不局限于特定的架构，但特定类型虚构信息的发生情况和引发的难易程度可以显著根据模型架构的不同而改变。这些发现强调了需要同时更好地理解这两个问题的必要性，以及如何设计更通用的方法来处理虚构信息。
arXiv:2410.10516v3 宣告类型：替换-交叉
摘要：分子生成和分子性质预测对于药物发现至关重要，但它们通常独立开发。受到最近研究的启发，这些研究表明扩散模型作为一种生成方法可以学习有意义的数据表示，从而提高预测任务，我们探索了在分子领域开发一个统一的生成模型的可能性，该模型能够有效地解决分子生成和性质预测任务。然而，由于固有的不一致性，将这些任务结合起来极具挑战性，使简单的多任务学习无效。为了解决这个问题，我们提出了UniGEM，这是第一个成功集成分子生成和性质预测的统一模型，在两个任务中均表现出色。我们的关键创新在于一种新颖的两阶段生成过程，在形成分子骨架后，在后期阶段激活预测任务。我们还通过创新的训练策略进一步平衡任务。严格的理论分析和全面的实验表明，我们的改进对于两个任务都具有显着的提升。UniGEM背后的原理也有望在更广泛的领域中发挥作用，包括自然语言处理和计算机视觉。
arXiv:2410.07838v3 生成类型: replace-cross
摘要: 我们探讨了使用预训练的文本到图像（T2I）隐式扩散模型生成少数样本的问题。在T2I生成的上下文中，少数样本可以定义为生活在文本条件数据分布的低密度区域中的样本。它们对于现代T2I生成器的各种应用（如数据增强和创意AI）具有重要价值。不幸的是，现有的预训练T2I扩散模型主要集中在高密度区域内，这很大程度上是由于引导采样器（如CFG）的影响，这些采样器对于高质量生成是必不可少的。为了应对这一问题，我们提出了一种新型框架来克服T2I扩散模型的高密度关注。具体来说，我们首先开发了一种在线提示优化框架，该框架在推断过程中鼓励出现所需属性，同时保留用户提供的提示的语义内容。随后，我们将这一通用提示优化器定制为一个专门的求解器，通过结合一个精心构建的似然性目标来促进少数特征的生成。在各种类型的T2I模型上进行的广泛实验表明，我们的方法在生成高质量少数样本方面显著优于现有采样器。代码可在 https://github.com/soobin-um/MinorityPrompt 获得。
arXiv:2409.14729v2 宣告类型: replace-cross
摘要：大型语言模型（LLMs）因其生成类人文本的强大能力而在各种应用中得到了广泛应用。然而，提示注入攻击，即通过使用恶意提示来覆盖模型的原始指令以操控生成的文本，引发了对LLMs的安全性和可靠性的严重关切。确保LLMs在面对此类攻击时具有鲁棒性，对于在实际应用中部署这些模型，在关键任务中尤为重要。
在本文中，我们提出了PROMPTFUZZ，这是一种利用 fuzzing 技术的新颖测试框架，用于系统地评估LLMs在面对提示注入攻击时的鲁棒性。受软件 fuzzing 的启发，PROMPTFUZZ 选择有希望的种子提示，并生成一组多样的提示注入来评估目标LLM的韧性。PROMPTFUZZ 分为两个阶段：预备阶段，涉及选择有希望的初始种子并收集少数示例；以及聚焦阶段，使用收集到的示例生成多样且高质量的提示注入。利用PROMPTFUZZ，我们可以发现LLMs中的更多漏洞，即使是那些具有强大防御提示的模型也不例外。
通过在真实世界竞赛中部署PROMPTFUZZ生成的攻击提示，我们仅用2小时就获得了超过4000名参赛者（前0.14%）中的第7名排名。此外，我们构建了一个数据集，以进一步调优LLMs，以增强其在面对提示注入攻击时的鲁棒性。虽然调优后的模型展示了更好的鲁棒性，但PROMPTFUZZ仍能识别出漏洞，突显了对LLMs进行稳健测试的重要性。我们的工作强调了有效测试工具的紧迫需求，并提供了一个实用框架，用于评估和提高LLMs在面对提示注入攻击时的鲁棒性。
arXiv:2409.13723v3 公告类型: 交叉替换
摘要：近年来，机器学习（ML）取得了迅速进展，革新了金融、医学和网络安全等领域。在恶意软件检测方面，基于ML的方法展现了高精度；然而，它们缺乏透明性构成了一个重大挑战。传统黑盒模型通常无法为预测提供可解释的依据，限制了它们在安全关键环境中（理解检测背后的推理对于威胁缓解和响应至关重要）的应用。可解释人工智能（XAI）通过增强模型的可解释性，同时保持强大的检测能力来解决这一问题。这篇综述对当前最先进的ML技术进行了全面回顾，特别是重点关注可解释性方法。我们探讨了现有的XAI框架，它们在恶意软件分类和检测中的应用，以及使恶意软件检测模型更具可解释性所面临的挑战。此外，我们还探讨了最近的进展，并指出了可解释恶意软件分析领域的开放研究挑战。通过提供XAI驱动的恶意软件检测方法的结构化概述，这篇综述为希望在机器学习性能与可解释性之间架起桥梁的研究人员和实践者提供了有价值的资源。
arXiv:2409.13521v2 宣告类型：替换-交叉
摘要：道德价值观深深植根于早期文明中，并通过规范和法律的形式来规范社会秩序和公众利益。它们在理解人类行为的心理基础和文化导向方面起着至关重要的作用。道德基础理论（MFT）是一个成熟的框架，该框架识别出不同的文化在塑造个体和社会生活方面的核心道德基础。近年来，特别是在自然语言处理领域，预训练语言模型（PLMs）的发展使得可以从文本数据中提取和分析道德维度。本综述对受MFT启发的PLMs进行了全面的回顾，并分析了PLMs中的道德倾向及其在MFT情境下的应用。我们还回顾了相关的数据集和词汇表，并讨论了趋势、限制和未来方向。通过提供PLMs与MFT之间交叉领域结构化的概述，本工作在PLMs领域内引入了道德心理学的洞见，为创建更具道德意识的AI系统的研究和发展铺平了道路。
arXiv:2409.05925v2 通知类型: 替换-交叉
摘要：将大型语言模型（LLMs）与知识图谱（KGs）集成对于知识驱动的应用提供了显著的协同潜力。一种可能的集成方式是解释和生成形式语言，例如用于语义网络的语义语言，其中SPARQL是访问KG的核心技术。在本文中，我们专注于测量LLMs在处理SPARQL以及更具体地处理SPARQL SELECT查询方面的即开即用能力，采用定量方法。
我们为多个LLM在LLM-KG-Bench框架中实现了各种基准测试任务，以自动化执行和评估。这些任务从语法规则、语义读取、语义创建以及知识图谱提示的纳入作用等多个维度评估能力。
借助这些新的基准测试任务，我们评估了来自GPT、Gemini和Claude模型的几个选择。我们的研究结果表明，处理SPARQL SELECT查询对于LLMs来说仍然具有挑战性，并且很大程度上取决于具体使用的LLM以及任务的复杂性。虽然修复基本语法错误对当前评估的顶级LLM来说似乎没有问题，但在多个情况下创建语义正确的SPARQL SELECT查询都较为困难。
arXiv:2409.01354v3 宣告类型: replace-cross
摘要：对各种关键和敏感应用而言，深度学习模型的易于理解的解释是必不可少的。尽管在图像或表格数据中，每个输入特征（对分类器决策的重要性）可以直接投影到输入中，但时间序列中可区分特征（例如主导频率）往往很难在时间域中以用户容易理解的方式表现出来。此外，大多数解释方法需要一个基线值来表示缺乏任何特征。然而，在视觉任务中通常将缺乏特征定义为黑像素，在表格数据中定义为零/平均值，在时间序列中缺乏特征的概念定义并不明确。尽管从视觉和表格数据领域引入可解释AI方法（XAI）到时间序列领域，这些差异在实践中限制了这些XAI方法的应用。在本文中，我们提出了一种简单而有效的方法，允许原本在时间域中训练的模型在其他解释空间中使用现有方法进行解释。我们建议了五个解释空间，每种都可能在某些类型的时间序列上解决这些问题。该方法可以在不更改训练模型或XAI方法的情况下轻松集成到现有平台中。在接受后，代码将被发布。
arXiv:2409.00159v3 公告类型：替换-交叉
摘要：大型语言模型（LLMs）现在被用于广泛的任务。本文我们探讨了它们在回忆和生成图形方面的能力。我们首先研究了LLMs从文献中回忆熟知图形（例如Karate俱乐部或图大全）的能力。其次，我们通过请求Erdos-Renyi随机图形来质疑LLMs的生成能力。与他们有可能记住其抓取训练集中的一些Erdos-Renyi图形的情况不同，这项第二项调查旨在研究LLMs可能 emergence 的能力。对于这两项任务，我们提出了一个度量标准，以幻觉（即错误信息被当作事实返回）的视角评估其错误。我们尤其发现，图形幻觉的幅度可以表征某些LLMs的优势。确实，在回忆任务中，我们观察到图形幻觉与 hallucination ranking 领先榜相关，这是一个利用10,000倍更多提示来获得其排名的幻觉等级。在生成任务中，我们惊讶地发现大多数LLMs取得了很好的且可再现的结果。我们认为这一点构成了更深入研究这种 emergent 能力的起点，并为他们改进提供了具有挑战性的基准。总的来说，这些LLMs能力的这两方面填补了网络科学与机器学习社区之间的差距。
arXiv:2408.11546v3 宣告类型: 替换-交叉
摘要：上下文内学习（ICL）已被证明是提高大型语言模型（LLMs）性能的有效策略，无需额外训练。然而，这种性能提升的确切机制仍然不清楚。本研究首次展示了ICL如何揭示记忆化的训练数据，并探讨了这种记忆化与在不同ICL范式下的下游任务性能的相关性：零样本、少样本和多样本。我们的主要发现包括：（1）与零样本学习相比，在大多数情况下，ICL显著揭示了记忆化；（2）未提供标签的演示是揭示记忆化的最有效元素；（3）当少样本范式下的揭示记忆化程度达到较高水平（约40%）时，ICL提高了性能；（4）当ICL在性能上优于零样本学习时，性能和记忆化之间存在非常强烈的关联。总体而言，本研究揭示了记忆化作为一个新的影响ICL的因素，提出了一个重要问题：在ICL中，LLMs真正从演示中泛化到什么程度，其成功有多少是由于记忆化的因素？