arXiv:2504.21239v1 类型: cross
摘要：当前大型语言模型（LLMs）在顺序添加新记忆和整合新知识方面存在局限性。这些限制与人类能够不断从新经验中学习并在生活中获取知识的能力形成鲜明对比。现有的大多数方法要么通过大上下文窗口，要么通过外部记忆缓冲区（例如检索增强生成）来添加记忆，关于知识注入的研究很少测试类似于日常生活的场景。在这项工作中，我们引入了一种连续学习框架，称为嵌入记忆在门控LLMs中的MEGa，该框架直接将事件记忆注入到LLMs的权重中。每个记忆都存储在一组专用的门控低秩权重中。在推理过程中，门控机制通过将查询嵌入与存储的记忆嵌入匹配来激活相关的记忆权重，这使得模型能够回忆完整的记忆并回答相关问题。在两个数据集——虚构角色和维基百科事件上，MEGa方法在减轻灾难性遗忘方面优于基准方法。我们的模型受到了人类大脑互补记忆系统的启发。
arXiv:2504.21235v1 安全类型：跨领域
摘要：我们提出了一种基于格的方案，用于量子程序和证明的同态评估，并且能够抵御量子对手的攻击。经典同态加密通过用模块学习误差（MLWE）格替换复合阶群，并将多项式函子推广为有界自然超函子（BNSFs）来提升到量子设置。一个秘密去极化BNSF掩码隐藏振幅，而每个量子态则存储为一对MLWE密码文。我们通过允许一致访问加密预言机的形式化安全，使用qIND-CPA游戏，并给出一个四组混合化约，将其归结为决策性MLWE。
该设计方案还涵盖了通常被忽略的实用问题。一种类型化的QC-桥可以保持由测量生成的经典位被加密但仍可作为控制使用，并且对于期望值运算负载具有弱测量语义。加密的保罗二旋增加了电路隐私。如果需要固定知识库，其公理可以作为MLWE "胶囊" 发送；评估者可以使用它们但无法读取它们。一种ρ- calculus驱动器在多个QPUs之间调度加密任务，并在RChain风格的账本上记录可审计的跟踪记录。
性能分析表明，额外的格算术可以适应当今的QPUs空闲窗口：一个100量子位、深度为10^3的基于传态的证明在大约10毫秒内运行，公钥（仅为种子）大小为32字节，即使是最为安全级别的密钥大小也低于300 kB。一种利用当前硬件执行同态传态和相对于知识库的振幅检查的光子Dirac-3原型是可行的。这些结果表明，全面同态、具备知识库意识的量子推理与近期内量子云和标准后量子安全假设兼容。
arXiv:2504.21231v1 类型: cross
摘要：颈部超声（US）在气道管理中发挥着重要作用，通过提供无创、实时成像，能够实现快速且精确的干预。基于深度学习的颈部US解剖标志检测可以进一步促进程序效率。然而，数据集中的类别不平衡问题，如气管环和声带等关键结构的代表性不足，给物体检测模型带来了巨大挑战。为了解决这一问题，我们提出了一种结合文本到图像的潜扩散模型和类意识采样的混合方法——T2ID-CAS，以生成低代表类别高质量的合成样本。这种方法在超声波领域很少被探讨，但能够改进少数类别的表示。使用YOLOv9在颈部US解剖标志检测的实验结果显示，T2ID-CAS 达到了88.2的平均平均精度，远远超过了基线的66。这突显了它作为减轻AI辅助超声引导干预中的类别不平衡的计算效率高且可扩展的解决方案的潜力。
arXiv:2504.21228v1 安全类型：跨平台
摘要：大型语言模型（LLMs）被认为容易遭受间接提示注入攻击，其中模型在执行提示上下文中注入的任务时，会不 desirable 地偏离用户提供的指令。这种漏洞源于 LLMs 无法区分提示内的数据和指令。在本文中，我们提出了 CachePrune，该方法通过识别并在输入提示上下文的 KV 缓存中剪枝任务触发神经元来防御这种攻击。通过剪枝这些神经元，我们鼓励 LLM 将输入提示上下文中的文本片段视为纯粹的数据，而不是任何指示指令的线索。这些神经元是通过从直接偏好优化（DPO）目标的上界诱导出的损失函数进行特征归因识别的。我们展示了，这种损失函数能够在少量样本的情况下实现有效的特征归因。为进一步提高特征归因的质量，我们利用观察到的指令遵循触发效应。我们的方法不会对原提示施加任何格式化，也不引入额外的测试时 LLM 调用。实验结果表明，CachePrune 显著降低了攻击的成功率，同时不牺牲响应质量。注意：本文旨在防御间接提示注入攻击，以推动更安全、更 robust 的 AI 系统的发展。
arXiv:2504.21226v1 Announce Type: cross
摘要：毛片通常将视觉元素与简短的文字结合以分享幽默或意见，但其中一些毛片包含有害信息，如仇恨言论。在这篇论文中，我们介绍了MemeBLIP2，这是一个轻量级的多模态系统，通过有效地结合图像和文本特征来检测有害毛片。我们基于先前的研究，在系统中增加了将图像和文本表示纳入共享空间并融合它们以实现更好分类的模块。以BLIP-2为核心视觉-语言模型，我们的系统在PrideMM数据集中进行了评估。结果显示，MemeBLIP2可以捕捉到两种模态中的微妙线索，即使在讽刺或文化特定的内容情况下也能更好地检测有害内容。
arXiv:2504.21214v1 交叉公告类型
摘要：本文探索了在活动脑-计算机接口(BCI)系统中无声语音解码，这些系统提供了比传统BCI应用更自然和灵活的通信方式。我们收集了一个新的无声语音数据集，包含来自12名受试者的超过120小时的脑电图(EEG)记录，这些记录捕捉了24个常用英语单词，用于语言模型的预训练和解码。受到使用自监督范式预训练大型模型以增强EEG分类性能的最近成功启发，我们提出了一个名为大型大脑语言模型（LBLM）的新模型，该模型预训练以解码活动BCI中的无声语音。为预训练LBLM，我们提出了未来时间-频谱预测（FSTP）预训练范式，以从未标记的EEG数据中学习有效的表示。与现有主要遵循遮蔽重建范式的EEG预训练方法不同，我们提出的FSTP方法在时间域和频域中采用自回归建模，以捕捉EEG信号中的时间和频谱依赖性。经过预训练后，我们针对包括词级和语义级分类在内的下游任务微调了我们的LBLM。广泛的实验表明，LBLM在未完全监督和预训练基线模型上的性能显著提升。例如，在困难的跨会话设置中，我们的模型在语义级分类中的准确率为47.0%，在词级分类中的准确率为39.6%，分别比基线方法高出5.4%和7.3%。我们的研究推进了活动BCI系统中的无声语音解码，提供了一种创新的EEG语言模型预训练解决方案，并为基础研究提供了一个新的数据集。
arXiv:2504.21211v1 交叉类型
摘要：野生动物走私仍然是一个关键的全球问题，对生物多样性、生态稳定性和公共卫生造成了重大影响。尽管各国都在努力打击这一非法贸易，但电子商务平台的兴起使得销售野生动物产品变得更加容易，给受威胁和濒危物种的野生种群带来了新的压力。此外，使用这些平台也为犯罪分子提供了一个新机会：他们在线销售野生动物产品时留下的数字痕迹可以为走私活动提供见解，以及揭示如何遏制这种活动。挑战在于找到这些线索。在线市场每天发布大量的产品广告，识别与野生动物相关的广告就像在针堆里找针。学习分类器可以自动识别广告，但创建它们需要成本高昂且耗时的数据标注，这阻碍了支持多样广告和研究问题的支持。本文解决了野生动物走私分析数据科学管道中的一个关键挑战：为分类器生成高质量的标注数据，以便选择相关数据。虽大语言模型（LLMs）可以直接标注广告，但大规模进行这项工作成本极高。我们提出了一种经济有效的策略，利用LLMs生成一小部分数据的伪标签，并利用这些标签创建专门的分类模型。我们的新方法自动收集多样且代表性的样本进行标注，同时将标注成本降到最低。我们的实证评估表明，我们的分类器在F1分数上最高可达95%，在较低的成本下优于LLMs。我们展示了实际的应用案例，证明了我们方法在使能够分析不同方面野生动物走私的有效性。
arXiv:2504.21206v1 宣布类型: cross
摘要：联邦图学习（FGL）使得客户端能够以分布式方式协作训练图神经网络（GNNs）的同时保护数据隐私。然而，FGL方法通常要求所有客户端拥有的图数据具有同质性，以确保节点邻域分布模式相似。这种假设保证了从所有客户端学习的知识在局部模型中具有一致性，因此这些局部模型可以被适当聚合为一个全局模型而不损害整体性能。然而，当不同客户端的节点邻域分布模式不一致（例如，当客户端持有的图具有不同水平的异质性时），它们的局部模型可能会从节点级预测任务中获得不同的甚至矛盾的知识。因此，聚合这些局部模型通常会导致全局模型性能急剧下降。为了解决这一挑战，我们提出了FedHERO，这是一种旨在有效利用和共享源自异质图的洞察力的FGL框架。FedHERO的核心是一个双通道GNN，配备了结构学习器，专门用于区分局部图中编码的结构知识。借助此专有组件，FedHERO使每个客户端的局部模型能够识别和学习适用于不同节点邻域分布模式的图的普遍模式。FedHERO不仅通过利用局部和共享的结构洞察力来提高每个客户端模型的性能，还在此领域树立了一个新典范，以有效处理具有各种节点邻域分布模式的图数据。我们进行了广泛实验以验证FedHERO相对于现有替代方案的优越性能。
arXiv:2504.21205v1 Announce Type: cross
摘要：本文介绍了SecRepoBench，这是一个用于评估LLM在真实仓库中进行安全代码生成的基准。SecRepoBench包含27个C/C++仓库中的318个代码生成任务，涵盖了15个CWE。我们使用我们的基准评估了19个最先进的LLM，发现这些模型在生成正确和安全的代码方面存在困难。此外，评估LLM生成自包含程序的先前基准测度的性能并未在SecRepoBench的仓库级别生成安全和正确代码方面显示出可比性能。我们展示了在仓库级别进行安全代码生成问题时最先进的提示工程技术的有效性降低。我们进行了广泛的实验，包括一种代理技术来生成安全代码，以证明我们的基准目前是迄今为止最难的安全编码基准，与之前的最先进的基准相比较。最后，我们全面的分析提供了关于增强LLM在真实仓库中生成正确和安全代码能力的潜在方向的见解。
arXiv:2504.21202v1 宣告类型: cross
摘要: 尽管近年来大型语言模型取得了进展，但由于评估法律写作的基准基准稀缺，这主要是由于评估开放性回答的固有复杂性所致，因此目前仍然稀缺。在评估特定领域的语言模型时，找到足够公开、经常更新且包含全面评估指南的数据集是关键挑战之一。巴西律师资格考试恰好符合这些要求。我们介绍了oab-bench，这是一个包含最近几年考试中七个法律领域的105道题目的基准。该基准包括全面的评估指南和由人类考官使用的参考材料，以确保评分的一致性。我们对oab-bench上的四个人工智能语言模型进行了性能评估，结果发现Claude-3.5 Sonnet得分最高，平均分为10分中的7.93，并通过了所有21场考试。我们还研究了人工智能语言模型是否可以作为可靠的自动法官来评估法律写作。我们的实验表明，前沿模型如OpenAI的o1在评估已批准的考试时与人类评分有很强的相关性，这表明它们在本质上具有主观性的法律写作评估中作为可信的自动评估员的可能性。源代码和基准数据——包括问题、评估指南、模型生成的回应及其相应的自动评估——都是公开的。