机器学习（ML）近年来经历了指数级增长，广泛应用于金融、医学和网络安全等多个领域。恶意软件仍然是现代计算的主要威胁，常被攻击者用来破坏系统。尽管许多基于机器学习的恶意软件检测方法性能优异，但它们往往缺乏透明性，无法解释其预测结果。这在恶意软件分析中是一个关键缺陷，因为安全分析师需要理解检测背后的逻辑来验证和传播信息。可解释人工智能（XAI）通过在保持高准确性的同时生成提供清晰、易懂解释的模型来解决这一问题。在本综述中，我们全面回顾了当前最先进的基于ML的恶意软件检测技术和流行的XAI方法。此外，我们还讨论了可解释恶意软件分析的研究实现及其挑战。本理论综述为对恶意软件检测中XAI应用感兴趣的研究人员提供了一个切入点。通过分析可解释恶意软件分析的最新进展，我们提供了一个广泛的概述，将我们的工作定位为首个全面涵盖恶意软件分类和检测中XAI方法的研究。
大型语言模型（LLMs）在文本理解和生成方面的显著能力已经彻底改变了信息提取（IE）领域。其中一项进展是在文档级关系三元组提取（DocRTE）方面，这是信息系统中的一个关键任务，旨在从文档中提取实体及其语义关系。然而，现有方法主要设计用于句子级关系三元组提取（SentRTE），通常处理的是单一句子内的有限关系和三元组事实。此外，一些方法将关系视为候选选择集成到提示模板中，导致在确定三元组中的关系元素时处理效率低下且性能不佳。为了解决这些限制，我们引入了一种判别和语音感知范式DiVA。DiVA仅涉及两个步骤：执行文档级关系提取（DocRE），然后根据关系识别主语和宾语实体。无需额外处理，只需输入文档即可直接获得三元组。这种简化的过程更准确地反映了现实世界中三元组提取的场景。我们的创新之处在于将DocRE转化为一个判别任务，模型关注每个关系以及三元组中常被忽视的主动与被动语态问题。我们在Re-DocRED和DocRED数据集上的实验展示了DocRTE任务的最新成果。
arXiv:2409.13715v1 公告类型: 交叉 摘要: 人类社交关系的质量与人类记忆过程密切相关，记忆是建立社会联系的基础。由于人类记忆具有选择性，同一群体内对相同事件的不同回忆可能导致误解和共识的偏差。然而，旨在提升群体互动质量的对话促进系统通常只关注单次会话中用户状态的跟踪，而忽略了互动后每个参与者记忆中的内容。对话记忆是人类对对话中的言语、非言语及情境信息进行编码、保留和检索的过程。理解对话记忆可以作为了解群体内社会联系长期发展的一个信息来源。本文介绍了MeMo语料库，这是首个包含参与者记忆保留报告的对话数据集，旨在促进人类对话记忆的计算建模。MeMo语料库包含31小时关于Covid-19话题的小组讨论，持续时间为两周。它整合了经过验证的行为和感知测量，并包含音频、视频和多模态注释，为研究对话记忆和群体动态提供了宝贵的资源。通过引入MeMo语料库，分析其有效性，并展示其对未来研究的实用性，本文旨在为智能系统开发中的对话记忆建模研究铺平道路。
arXiv:2409.13714v1 公告类型: 交叉 摘要: 实现对基于Transformer的语言模型的机制性理解是一个开放的挑战，特别是由于其大量的参数。此外，模型权重与其功能角色之间缺乏真实映射，阻碍了可解释性方法的有效评估，从而阻碍了整体进展。Tracr方法提出了一种在RASP中生成具有固有真实映射的编译Transformer，以解决这一问题。然而，手动创建大量用于验证可解释性方法的模型既费时又费力。在这项工作中，我们提出了一种使用大型语言模型（LLMs）生成可解释性测试平台的新方法，并引入了TracrBench，这是一个由121个手动编写和LLM生成的、经过人工验证的RASP程序及其相应的Transformer权重组成的新数据集。在此过程中，我们评估了前沿LLMs自主生成RASP程序的能力，发现这一任务具有显著挑战性。GPT-4-turbo在20次提示和最佳5次采样的情况下，仅正确实现了101个测试程序中的57个，其余程序需要手动实现。TracrBench的121个样本旨在作为评估和比较可解释性方法的有价值的测试平台。
arXiv:2409.13712v1 公告类型: 交叉 摘要: 在学术研究不断扩展的领域中，思想的激增给研究人员带来了重大挑战：如何从影响力较小的思想中辨别出有价值的思想。高效评估这些思想的潜力对于科学进步和论文评审至关重要。在这项工作中，我们专注于思想评估，旨在利用大型语言模型的知识来评估科学思想的价值。首先，我们调查了现有的文本评估研究，并定义了思想定量评估的问题。其次，我们从近四千篇全文手稿论文中精心策划并发布了一个基准数据集，旨在训练和评估不同方法在该任务中的表现。第三，我们通过使用大型语言模型特定层的表示，建立了一个量化思想价值的框架。实验结果表明，我们的方法预测的分数与人类评分相对一致。我们的研究结果表明，大型语言模型的表示在量化思想价值方面比其生成输出更具潜力，展示了自动化思想评估过程的潜力。
arXiv:2409.13711v1 公告类型: 交叉 摘要: 多模态大语言模型和网络代理的兴起，呼吁创建具有挑战性的基准来评估神经架构。与现有专注于多步骤网络导航的基准不同，我们提出了WebQuest，这是一个多页面问答数据集，要求在基于真实世界使用的网络交互序列中同时进行检索和推理。WebQuest包括三种问题类别：单屏推理、多屏推理和基于导航轨迹的问题。我们在数据集上评估了一些领先的多模态模型，如GPT-4V、Gemini Flash和Claude 3，揭示了单屏和多屏推理之间存在显著差距。最后，我们研究了如思维链提示等推理时间技术，以提高模型在多屏推理上的能力。
传统的语义表格解释（STI）方法主要依赖于底层表格数据来创建语义注释。今年的SemTab挑战赛引入了“元数据到知识图谱”赛道，该赛道专注于仅使用元数据信息进行STI，而无需访问底层数据。为了应对这一新挑战，我们引入了一个新术语：列词汇关联（CVA）。该术语指的是仅基于元数据信息对列标题进行语义注释的任务。在本研究中，我们评估了各种方法在执行CVA任务中的表现，包括大型语言模型（LLMs）和检索增强生成（RAG）方法，以及传统的基于相似度的方法与SemanticBERT。我们的方法采用零样本设置，没有预训练或示例传递给大型语言模型（LLMs），因为我们旨在避免特定领域的设置。我们研究了总共7种不同的LLMs，其中包括三种商业GPT模型（即gpt-3.5-turbo-0.125、gpt-4o和gpt-4-turbo）和四种开源模型（即llama3-80b、llama3-7b、gemma-7b和mixtral-8x7b）。我们将这些模型与RAG系统集成，并探讨温度设置的变化如何影响性能。此外，我们继续通过使用SemanticBERT执行CVA任务来进行研究，分析各种元数据信息如何影响其性能。初步发现表明，LLMs在温度低于1.0时通常表现良好，在某些情况下达到100%的准确率。然而，我们的研究也揭示了数据的性质显著影响CVA任务的结果。事实上，在输入数据和词汇表相关的情况下（例如由同一组织创建），传统方法似乎超越了LLMs的表现。
arXiv:2409.13708v1 公告类型: 交叉 摘要: 语言包容性的大型语言模型——无论使用何种语言进行提示，都能保持良好性能——对于全球范围内人工智能利益的普及至关重要。依赖语言翻译来规避安全措施的多语言越狱行为，破坏了人工智能系统的安全性和包容性部署。我们提供了政策建议，以增强人工智能的多语言能力，同时减轻多语言越狱的风险。我们定量评估了语言资源丰富度与模型对多语言越狱的脆弱性之间的关系，涉及五个前沿大型语言模型在24种欧盟官方语言中的表现。基于先前研究，我们提出了与欧盟法律环境和机构框架相一致的政策行动，以应对多语言越狱问题，同时促进语言包容性。这些行动包括强制评估多语言能力和脆弱性、公众意见研究以及国家对多语言人工智能发展的支持。这些措施旨在通过欧盟政策倡议提高人工智能的安全性和功能性，指导欧盟人工智能法案的实施，并为欧洲人工智能办公室的监管努力提供信息。
arXiv:2409.13707v1 公告类型: 交叉 摘要: 希望在IT支持和AIOps领域实施生成式AI的客户面临两个关键问题：领域覆盖范围和模型大小限制，这是由于模型选择的局限性。客户可能出于成本和隐私考虑，选择不使用GPT-4等较大的专有模型，因此只能使用可能领域覆盖范围较小、无法泛化到客户领域的小型模型。检索增强生成是一种常见的解决方案，可以解决这两个问题：检索系统首先检索必要的领域知识，然后小型生成模型利用这些知识作为上下文进行生成。我们为IT支持领域的客户开发了一个系统，用于支持案例解决方案推荐，该系统结合了检索增强生成（RAG）用于答案生成，编码器模型用于分类，以及生成式大型语言模型用于查询生成。我们涵盖了架构细节、数据收集和标注、开发历程和初步验证、预期的最终部署流程和评估计划，最后总结了经验教训。
arXiv:2409.13705v1 公告类型: 交叉 摘要: 大型语言模型(LLMs)的广泛使用要求高效的防护措施来确保LLMs输入和输出的安全性。当这些防护措施在数据不平衡的情况下进行训练时,它们可能会学习到社会偏见。我们提出了一种轻量级的后处理方法,用于缓解闭源文本安全分类器中的反事实公平性问题。我们的方法涉及构建一个集成模型,该模型不仅优于输入分类器并使其与政策对齐,而且作为去偏置正则化器。我们引入了两个与阈值无关的指标来评估模型的反事实公平性,并展示了如何将这些指标与公平数据重加权(FDW)结合使用以缓解偏见。我们创建了一个扩展的OpenAI数据集和一个基于用户提示的新模板化LLM生成数据集,这两个数据集在身份群体中反事实平衡,并涵盖了四个关键的安全领域;我们将努力公开发布这些数据集。我们的结果表明,我们的方法在最小化对模型性能影响的情况下提高了反事实公平性。