尽管大型语言模型 (LLMs) 已经彻底改变了许多领域，但它们仍然面临着具有挑战性的外推问题，即在超过其最大训练长度时，LLMs 的推理能力急剧下降。在这项工作中，我们进行了理论分析，以更好地理解为什么无位置编码 (NoPE) 在其有效范围之外会失效，以及在这种情况下的位置编码 (PE) 的能力。我们的研究结果表明，通过精心编织的位置，PE 确实可以扩展到有效范围之外。我们的定理表明，配备了编织 PE 的 LLMs 可以实现改进的外推性能，而无需额外成本。此外，我们引入了一种新颖的编织 PE 方法，Mesa-Extrapolation，它利用基于块的三角注意力矩阵，并应用阶梯 PE 来管理最后一个块。这种方法不仅保留了竞争性能，而且还提供了显着的优势，例如显着降低的内存需求和更快的推理速度。大量实验验证了 Mesa-Extrapolation 的有效性，证明了其作为增强 LLMs 应用范围的可扩展解决方案的潜力。
大型视觉语言模型（LVLMs）在应用中面临着幻觉的挑战。与大型语言模型（LLMs）不同，LVLMs 中的幻觉通常源于视觉输入和文本输出之间的错位。本文研究了幻觉的潜在机制，重点关注区分 LVLMs 与大型语言模型（LLMs）的独特结构。我们发现幻觉通常源于文本解码器对视觉输入的敏感性，这是图像编码器和文本解码器分别预训练时的自然现象。受此启发，我们引入了视觉和文本干预（VTI），这是一种旨在通过在推理过程中引导潜在空间表示来增强视觉特征的稳定性从而减少幻觉的新技术。作为一项与任务无关的测试时干预措施，VTI 可以轻松地应用于任何问题，而无需额外成本。大量实验表明，它可以有效地减少幻觉，并在多个指标上优于基线方法，突出了视觉特征稳定性在 LVLMs 中的关键作用。
本研究提出了一种新颖的强化学习 (RL) 模型，用于优化网络安全事件响应期间的恶意软件取证调查。该模型旨在通过减少误报并使现有做法适应不断变化的恶意软件特征来提高取证调查效率。提出的 RL 框架利用 Q 学习和马尔可夫决策过程 (MDP) 等技术来训练系统识别实时内存转储中的恶意软件模式，从而实现取证任务的自动化。RL 模型基于详细的恶意软件工作流程图，该图指导使用静态和行为技术以及机器学习算法分析恶意软件工件。此外，它旨在通过确保取证证据的准确性来解决英国司法系统中的挑战。我们在受控环境中进行测试和评估，使用在 Windows 操作系统上创建的数据集来模拟恶意软件感染。实验结果表明，与传统方法相比，RL 提高了恶意软件检测率，RL 模型的性能因环境的复杂性和学习率而异。研究得出结论，虽然 RL 为恶意软件取证自动化提供了有希望的潜力，但其在不同恶意软件类型中的有效性需要不断改进奖励系统和特征提取方法。
大型语言模型 (LLMs) 在自然语言处理任务方面的最新进展显著提升了其理解自然语言和代码的能力，推动了其在自然语言到代码 (NL2Code) 和代码摘要等任务中的应用。然而，LLMs 容易产生幻觉——偏离预期意义的输出。由于编程语言和自然语言之间错综复杂的相互作用，检测代码摘要中的幻觉尤其困难。我们引入了一个首创的数据集，包含约 10,000 个样本，专门用于检测代码摘要中的幻觉。我们进一步提出了一种新颖的实体追踪框架 (ETF)，该框架 a) 利用静态程序分析从程序中识别代码实体，以及 b) 使用 LLMs 来映射和验证这些实体及其在生成的代码摘要中的意图。我们的实验分析证明了该框架的有效性，F1 得分为 0.73。这种方法提供了一种可解释的方法来通过对实体进行接地来检测幻觉，使我们能够评估摘要的准确性。
物理信息神经网络（PINNs）自 2017 年问世以来已成为科学机器学习的关键工具，能够利用稀疏测量高效地求解常微分方程和偏微分方程。在过去几年中，PINNs 的训练和优化取得了重大进展，涵盖了网络架构、自适应细化、域分解以及自适应权重和激活函数的使用等方面。最近一项值得注意的进展是物理信息柯尔莫哥洛夫-阿诺德网络（PIKANS），它利用了柯尔莫哥洛夫在 1957 年首次提出的表示模型，为传统的 PINNs 提供了一种很有前景的替代方案。在本综述中，我们将全面概述 PINNs 的最新进展，重点关注网络设计、特征扩展、优化技术、不确定性量化和理论见解方面的改进。我们还将调查跨生物医学、流体和固体力学、地球物理学、动力系统、传热、化工等领域的关键应用。最后，我们将回顾学术界和工业界开发的计算框架和软件工具，以支持 PINNs 研究和应用。
我们对一个最小非线性稀疏数据自动编码器在高维输入极限情况下所学习的算法给出了完整的机制描述。该模型最初在 arXiv:2209.10652 中提出，通过一个线性层压缩稀疏数据向量，并使用另一个线性层和 ReLU 激活函数解压缩。我们注意到，当数据是置换对称的（没有输入特征是特权的）时，大型模型可靠地学习了一种算法，该算法仅通过其大规模统计信息对单个权重敏感。对于这些模型，损失函数变得可解析。利用这种理解，我们给出了高稀疏性下损失的显式缩放，并证明该模型在最近提出的架构中接近最优。特别是，更改或添加任何逐元素或过滤操作到激活函数最多只能将模型的性能提高一个常数因子。最后，我们向前设计了一个具有必要对称性的模型，并证明其损失与训练模型的损失完全匹配。与训练模型权重不同，人工权重中的低随机性导致了类似波斯地毯的奇异分形结构，算法对此一无所知。我们的工作通过引入理解自动编码器结构的技术，为神经网络的可解释性做出了贡献。在 https://github.com/KfirD/PersianRug 上可以找到用于重现我们结果的代码。
随着图神经网络 (GNN) 在网络数据表示学习中的广泛应用，GNN 模型的公平性近年来引起了极大关注。公平的 GNN 旨在确保节点表示能够被准确分类，但不能轻易与特定群体相关联。现有的先进方法本质上增强了节点表示的泛化能力，并结合数据增强策略，并没有直接对 GNN 的公平性施加约束。在这项工作中，我们发现社交网络学习中 GNN 不公平性的一个根本原因是社交同质现象，即同一群体的用户更有可能聚集在一起。由于社交同质性，GNN 的消息传递机制会导致同一群体的用户具有相似的表示，从而导致模型预测与敏感属性建立虚假关联。受此启发，我们提出了一种名为公平感知图神经网络 (EAGNN) 的方法，用于实现公平的图表示学习。具体来说，为了确保模型预测独立于敏感属性，同时保持预测性能，我们基于三个原则引入了公平表示学习的约束：充分性、独立性和分离性。我们从理论上证明了我们的 EAGNN 方法可以有效地实现群体公平性。在三个具有不同社交同质性水平的数据集上的大量实验表明，我们的 EAGNN 方法在两个公平性指标上均取得了最先进的性能，并提供了有竞争力的有效性。
大型语言模型（LLM）基于仅解码器Transformer构建，在自然语言生成方面表现出色，并通过零样本和少样本提示适应各种任务。然而，这些提示方法在自然语言理解（NLU）任务中往往难以奏效，在GLUE和SuperGLUE等基准测试中，仅编码器模型如BERT-base的表现优于LLM。本文探讨了两种方法——监督微调（SFT）和近端策略优化（PPO）——以增强LLM的NLU能力。为了降低全模型微调的成本，我们集成了低秩自适应（LoRA）层，在SFT和PPO期间仅限制对这些层的更新。在SFT中，任务特定的提示与输入查询和真实标签串联，并使用下一个词预测进行优化。尽管如此，在一些NLU任务中，LLM的表现仍然不如BERT-base等模型。为了缩小差距，我们应用了PPO，这是一种强化学习技术，将每个词生成视为一个动作，并使用基于与真实答案对齐的奖励函数。然后，PPO更新模型以最大化这些奖励，使输出与正确标签对齐。我们对LLAMA2-7B的实验表明，PPO提高了性能，在GLUE上比SFT提高了6.3个点。在GLUE上，PPO比零样本提高了38.7个点，比少样本提高了26.1个点，而在SuperGLUE上分别超过了28.8和28.5个点。此外，PPO在GLUE上比BERT-large高出2.7个点，在SuperGLUE上高出9.3个点。这些改进在Qwen2.5-7B和MPT-7B等模型中是一致的，突出了PPO在增强LLM的NLU能力方面的鲁棒性。
在本研究中，我们提出了LLM Gesticulator，一个基于大型语言模型的音频驱动共语手势生成框架，该框架可以合成与输入音频节奏一致的全身动画，同时展现出自然的动作和可编辑性。与之前的工作相比，我们的模型展现出显著的可扩展性。随着主干LLM模型规模的增加，我们的框架在评估指标（即缩放规律）方面展现出成比例的改进。我们的方法还展现出强大的可控性，生成的姿势的内容和风格可以通过文本提示进行控制。据我们所知，LLM Gesticulator是第一个将LLM应用于共语生成任务的工作。通过现有的客观指标和用户研究评估表明，我们的框架优于先前的工作。
本研究提出了一种名为 RePD 的创新攻击检索式提示分解框架，旨在缓解针对大型语言模型（LLM）的越狱攻击风险。尽管经过严格的预训练和微调，重点关注道德一致性，但 LLM 仍然容易受到越狱攻击。RePD 采用一次性学习模型，它访问预收集的越狱提示模板数据库，以识别和分解嵌入在用户提示中的有害查询。此过程涉及将越狱提示的分解整合到用户的原始查询中，形成一个一次性学习示例，以有效地教会 LLM 识别和分离恶意组件。因此，LLM 能够在根据其道德准则处理用户提示之前，首先中和任何潜在的有害元素。RePD 通用且兼容各种作为代理的开源 LLM。通过对有害和良性提示进行全面实验，我们证明了我们提出的 RePD 在增强 LLM 抗越狱攻击能力方面的有效性，同时不损害其对典型用户请求的响应性能。