基于大型语言模型（LLM）已展现出的多任务处理能力，我们研究了其在增强情报分析中深入分析推理方面的应用。情报分析人员通常会处理海量档案，以找出看似无关实体之间的联系，并揭露对手的计划和动机。我们探讨了LLM能否以及如何帮助分析人员完成这项任务，并开发了一种架构，利用名为动态证据树（DET）的内存模块来增强LLM的能力，从而发展和跟踪多个调查线索。通过对多个数据集的大量实验，我们强调了LLM现状下仍不足以支持情报分析人员，并为改进LLM以适应此类复杂的推理应用提出了建议。
大型语言模型 (LLM) 的快速发展使得能够高效地几乎即时地分析和生成代码，从而使其在软件开发中得到广泛应用。在此进展之后，研究人员和公司已开始在硬件设计和验证过程中集成LLM。然而，这些功能强大的LLM也可能在硬件开发过程中引发针对安全漏洞的新攻击场景。一种尚未探索的攻击媒介是知识产权 (IP) 盗版。鉴于这种攻击可能表现为重写硬件设计以逃避盗版检测，因此必须彻底评估LLM执行此任务的能力，并评估当前IP盗版检测工具的缓解能力。
因此，在这项工作中，我们提出了LLMPirate，这是一种基于LLM的首创技术，能够生成电路设计的盗版变体，成功地避开了多种最先进的盗版检测工具的检测。我们设计了三种解决方案来克服与LLM集成到硬件电路设计、大电路的可扩展性和有效性相关的挑战，从而形成了一种端到端的自动化、高效且实用的方案。我们使用八种不同规模和能力的LLM对LLMPirate进行了广泛的实验评估，并评估了它们针对四种最先进、广泛使用的盗版检测工具盗版各种电路设计的性能。我们的实验表明，LLMPirate能够在每个检测工具上始终如一地避开所有测试电路的检测。此外，我们还通过对IBEX和MOR1KX处理器以及GPS模块的案例研究展示了LLMPirate的影响，我们成功地对其进行了盗版。我们设想我们的工作能够激励和促进更好的IP盗版检测工具的开发。
大型神经网络的机制可解释性旨在通过识别电路（或模型内执行特定任务的算法的最小子图）来理解其内部运作机制。这些电路通常使用狭义定义的提示格式进行发现和分析。然而，鉴于大型语言模型 (LLM) 能够在同一任务的各种提示格式之间进行泛化，这些电路的泛化能力仍然不清楚。例如，尚不清楚模型的泛化结果是源于重用相同的电路组件、组件行为不同，还是使用了完全不同的组件。在本文中，我们研究了 GPT-2 small 中间接宾语识别 (IOI) 电路的泛化能力，该电路经过充分研究，并被认为实现了一种简单易懂的算法。我们评估了其在挑战该算法假设的提示变体上的性能。我们的研究结果表明，该电路具有令人惊讶的良好泛化能力，它重用了所有组件和机制，只添加了额外的输入边。值得注意的是，该电路甚至可以泛化到原始算法应该失败的提示变体；我们发现了一种解释这种现象的机制，我们称之为 S2 黑客攻击。我们的研究结果表明，LLM 内部的电路可能比以前认识到的更灵活、更通用，这强调了研究电路泛化以更好地理解这些模型的更广泛能力的重要性。
尽管深度学习 (DL) 方法在漏洞检测中越来越流行，但其性能受到训练数据不足的严重限制。这主要是因为很少有现有的软件组织能够维护一套完整的、高质量的用于基于深度学习的漏洞检测样本。由于担心隐私泄露，他们中的大多数都不愿共享数据，导致数据孤岛问题。由于联邦学习 (FL) 能够在不共享数据的情况下进行协作模型训练，因此它已被研究作为解决基于深度学习的漏洞检测中数据孤岛问题的一种有前景的方法。然而，由于现有的基于联邦学习的漏洞检测方法侧重于特定应用，因此目前尚不清楚 i) 联邦学习如何更好地适应常见的漏洞检测任务，以及 ii) 如何为特定的漏洞检测任务设计高性能的联邦学习解决方案。为了回答这两个问题，本文首先提出了 VulFL，一个用于基于联邦学习的漏洞检测的有效评估框架。然后，基于 VulFL，本文进行了一项综合研究，以揭示联邦学习在处理不同类型的 CWE（常见弱点枚举）方面的潜在能力，尤其是在面对各种数据异构场景时。我们的实验结果表明，与独立训练相比，联邦学习可以显著提高所有研究的 CWE 上常用 AI 模型的检测性能，尽管基于联邦学习的漏洞检测的性能受到异构数据的限制。为了突出用于漏洞检测的不同联邦学习解决方案之间的性能差异，我们广泛研究了 VulFL 各个框架组件的不同配置策略的影响。我们的研究揭示了联邦学习在漏洞检测中的潜力，这可以用于指导基于联邦学习的漏洞检测解决方案的设计。
多模态搜索彻底改变了时尚行业，为用户发现和探索时尚单品提供了一种无缝且直观的方式。用户可以根据他们的偏好、风格或特定属性，通过结合文本和图像信息来搜索产品。文本到图像的搜索使用户能够找到视觉上相似的商品或使用自然语言描述产品。本文提出了一种名为ENCLIP的创新方法，用于增强对比语言图像预训练（CLIP）模型的性能，尤其是在针对时尚智能领域的跨模态搜索方面。该方法侧重于解决有限的数据可用性和低质量图像带来的挑战。本文提出了一种算法，该算法涉及训练和集成多个CLIP模型实例，并利用聚类技术将相似的图像分组。本研究中提出的实验结果证明了该方法的有效性。这种方法释放了CLIP在时尚智能领域的潜力，在该领域，数据稀缺和图像质量问题普遍存在。总的来说，ENCLIP方法为时尚智能领域做出了宝贵的贡献，并为在数据有限和图像质量低的情况下优化CLIP模型提供了一个切实可行的解决方案。
边缘推理技术将深度神经网络 (DNN) 推理任务划分并分配到多个边缘节点以实现低延迟推理，但并未考虑边缘节点的核心级异构性。此外，默认的 DNN 推理框架也没有充分利用异构边缘节点的资源，导致推理延迟较高。在这项工作中，我们提出了一种用于异构边缘节点分布式推理的分层 DNN 分区策略 (HiDP)。我们的策略通过考虑边缘节点的核心级异构性，在全局和局部层面分层划分 DNN 工作负载。我们在商用边缘设备上，针对广泛使用的 DNN 模型，将我们提出的 HiDP 策略与相关的分布式推理技术进行了评估。与其他相关方法相比，我们的策略平均实现了 38% 的更低延迟、46% 的更低能耗和 56% 的更高吞吐量。
AdamW一直是Transformer预训练的默认优化器。多年来，我们的社区一直在寻找更快、更稳定的优化器，且只关注积极的结果。在这项工作中，我们提出了一种**对Pytorch中任何基于动量的优化器的单行修改**，我们将其重命名为谨慎优化器，例如C-AdamW和C-Lion。我们的理论结果表明，这种修改保留了Adam的哈密顿函数，并且在李雅普诺夫分析下不会破坏收敛保证。此外，我们的理论洞察力揭示了一个全新的优化器家族。其中，我们选择了最简单的一个进行实证实验，结果表明Llama和MAE预训练的速度提高了高达1.47倍。代码可在https://github.com/kyleliang919/C-Optim获取。
目标：人类基因组测序数据的庞大和复杂性给有效分析带来了挑战。这篇综述旨在研究自然语言处理 (NLP) 技术，特别是大型语言模型 (LLM) 和 Transformer 架构在破译基因组密码中的应用，重点关注标记化、Transformer 模型和调控注释预测。这篇综述的目标是评估最新文献中数据和模型的可访问性，从而更好地理解这些工具在处理基因组测序数据方面的现有能力和局限性。方法：遵循系统评价和荟萃分析的优选报告项目 (PRISMA) 指南，我们的范围界定综述涵盖了 PubMed、Medline、Scopus、Web of Science、Embase 和 ACM 数字图书馆。如果研究侧重于应用于基因组测序数据分析的 NLP 方法，则将其纳入，不限制发表日期或文章类型。结果：共选择了 26 项 2021 年至 2024 年 4 月发表的研究进行综述。综述强调，标记化和 Transformer 模型增强了基因组数据的处理和理解，其应用包括预测调控注释，例如转录因子结合位点和染色质可及性。讨论：将 NLP 和 LLM 应用于基因组测序数据解释是一个很有前景的领域，它可以帮助简化大规模基因组数据的处理，同时也能更好地理解其复杂结构。它有可能通过为基因组分析提供更高效和可扩展的解决方案来推动个性化医疗的进步。还需要进一步研究来讨论和克服当前的局限性，增强模型的透明度和适用性。
近期，自动三维内容创作因其在电子游戏、电影行业和AR/VR等各种应用中的潜力而受到越来越多的关注。扩散模型和多模态模型的最新进展显著提高了仅根据单张RGB图像生成三维物体的质量和效率。然而，即使是最先进的方法生成的三维物体，与人工创建的资产相比仍然不够令人满意。仅考虑纹理而非材质使得这些方法在照片级真实感渲染、重新照明和灵活外观编辑方面面临挑战。它们还存在几何形状和高频纹理细节严重错位的问题。在这项工作中，我们提出了一种新方法，从基于物理的渲染（PBR）材质的角度来提高生成的三维物体的质量。通过分析PBR材质的组成部分，我们选择考虑反照率、粗糙度、金属度和凹凸贴图。对于反照率和凹凸贴图，我们利用在合成数据上微调的稳定扩散模型来提取这些值，并采用这些微调模型的新颖用法来获得生成物体的三维一致反照率UV和凹凸UV。对于粗糙度和金属度贴图，我们采用半自动流程来提供交互式调整的空间，我们认为这更实用。大量的实验表明，我们的模型通常有利于各种最先进的生成方法，显著提高了其生成的三维物体的质量和真实感，具有自然的重新照明效果和大大改进的几何形状。
神经网络在学习偏差和误导性相关性时，难以进行图像分类，这会影响其泛化能力和性能。以往的方法需要属性标签（例如背景、颜色）或利用生成对抗网络 (GAN) 来减轻偏差。我们引入了 DiffuBias，这是一种用于文本到图像生成的新型管道，它通过生成偏差冲突样本增强分类器的鲁棒性，而无需在生成阶段进行训练。DiffuBias 利用预训练的扩散模型和图像字幕模型，利用来自有偏差分类器 ($f_B$) 的 top-$K$ 损失来创建更具代表性的数据样本，从而生成挑战分类器偏差的图像。这种方法不仅有效地去除了偏差，而且还增强了分类器的泛化能力。据我们所知，DiffuBias 是首个利用稳定扩散模型在去偏差任务中生成偏差冲突样本的方法。我们全面的实验评估表明，DiffuBias 在基准数据集上取得了最先进的性能。我们还对各种生成模型的碳排放和能源消耗进行了比较分析，以突出计算效率的重要性。