大型科学模拟会生成海量数据集，给存储和 I/O 带来了巨大挑战。虽然传统的有损压缩技术可以提高性能，但在平衡压缩率、数据质量和吞吐量方面仍然面临困难。为了解决这个问题，我们提出了 NeurLZ，一种新颖的基于跨域学习和误差控制的科学数据压缩框架。通过整合跳跃 DNN 模型、跨域学习和误差控制，我们的框架旨在显著提高有损压缩性能。我们的贡献有三方面：(1) 我们设计了一个轻量级的跳跃模型，以提供高保真细节保留，进一步提高预测精度。(2) 我们采用了一种跨域学习方法，显著提高数据预测精度，从而大幅提高压缩率。(3) 我们开发了一种误差控制方法，根据用户需求提供严格的误差边界。我们对 NeurLZ 在多个真实 HPC 应用数据集上进行了评估，包括 Nyx（宇宙学模拟）、Miranda（大型湍流模拟）和 Hurricane（天气模拟）。实验表明，与现有最佳方法相比，我们的框架在相同数据失真下实现了高达 90% 的比特率相对减少。
图神经网络 (GNN) 越来越流行，用于有效地对具有图结构的数据进行建模。近年来，注意力机制被集成到 GNN 中，以提高其捕获复杂模式的能力。本文首次全面研究了这种集成带来的一个关键且未被探索的后果：注意力层中出现了大量激活 (MA)。我们介绍了一种新的方法来检测和分析 MA，重点关注不同图变换器架构中的边特征。我们的研究使用基准数据集（包括 ZINC、TOX21 和 PROTEINS）评估了各种 GNN 模型。主要贡献包括：(1) 建立了 GNN 中注意力机制与 MA 生成之间的直接联系；(2) 基于激活比分布，开发了 MA 的稳健定义和检测方法；(3) 引入显式偏差项 (EBT) 作为一种潜在的应对措施，并将其探索为一种对抗性框架，以根据 MA 的存在与否来评估模型的鲁棒性。我们的发现突出了注意力诱导的 MA 在不同架构（如 GraphTransformer、GraphiT 和 SAN）中的普遍性和影响。该研究揭示了注意力机制、模型架构、数据集特征和 MA 出现之间的复杂相互作用，为开发更强大和可靠的图模型提供了重要见解。
arXiv:2409.02485v2 公告类型：replace-cross
摘要：研究ML4VIS探讨了如何利用机器学习（ML）技术生成可视化，并且随着高社会影响的迅速增长，这一领域正在迅速发展。然而，如同任何包含ML过程的计算管道一样，ML4VIS方法容易受到一系列特定于ML的对抗性攻击。这些攻击可以操控可视化生成，使分析师受到欺骗，影响其判断。由于缺乏从可视化和ML两个视角的综合研究，这一安全方面在当前的ML4VIS文献中被广泛忽视。为了弥补这一差距，我们从可视化和ML两个视角的整体视角出发，研究ML辅助可视化的潜在漏洞来自对抗性攻击。首先，我们识别出ML辅助可视化特有的攻击面（即攻击入口点）。然后，我们举例说明了五种不同的对抗性攻击。这些例子展示了在考虑攻击面和多种不同对手能力的情况下，可能发生的攻击范围。我们的研究结果表明，对手可以通过系统地识别对ML推断有影响力的输入属性，诱导各种攻击，例如创建任意和误导性的可视化。基于我们对攻击面特性和攻击示例的观察，我们强调了对安全问题和防御机制进行全面研究的重要性，这是对ML4VIS社区的紧急呼吁。
本研究使用 CatBoost 和 LightGBM 模型分析艾姆斯房价数据集，以探索房价预测中的特征重要性和因果关系。我们研究了 SHAP 值与 EconML 预测之间的相关性，并在价格预测方面取得了高准确率。我们的分析表明，基于 SHAP 的特征重要性和因果显著特征之间存在 0.48 的中等斯皮尔曼等级相关性，突出了在房地产市场分析中将预测建模与因果理解相一致的复杂性。通过广泛的因果分析，包括异质性探索和策略树解释，我们深入了解了诸如门廊等特定特征如何在各种情况下影响房价。这项工作强调了在房地产估值中结合预测能力和因果洞察力的综合方法的必要性，为行业利益相关者提供了宝贵的指导。
本文介绍了 VoxHakka，一个专为台湾客家语设计的文本转语音 (TTS) 系统，客家语是一种在台湾使用的资源极度匮乏的语言。利用 YourTTS 框架，VoxHakka 在语音合成中实现了高自然度和准确性以及较低的实时因子，同时支持六种不同的客家方言。这是通过使用方言特定数据训练模型来实现的，从而可以生成具有说话人意识的客家语语音。为了解决公开可用的客家语语音语料库稀缺的问题，我们采用了一种经济高效的方法，利用网络抓取管道和基于自动语音识别 (ASR) 的数据清理技术。此过程确保获取了高质量、多说话人、多方言数据集，适用于 TTS 训练。使用比较平均意见得分 (CMOS) 进行的主观听力测试表明，VoxHakka 在发音准确性、音调正确性和整体自然度方面明显优于现有的公开可用的客家语 TTS 系统。这项工作代表了客家语技术的一个重大进步，并为语言保护和复兴工作提供了宝贵的资源。
大规模“预训练和提示学习”范式已展现出非凡的适应性，使其能够在问答、图像识别和多模态检索等多个领域广泛应用。这种方法充分利用了大规模预训练模型的潜力，减少了下游数据需求和计算成本，同时增强了模型在各种任务中的适用性。图作为一种通用的数据结构，能够捕获实体之间的关系，在社交网络分析、推荐系统和生物图谱等领域发挥着至关重要的作用。尽管预训练和提示学习范式在自然语言处理 (NLP) 和计算机视觉 (CV) 领域取得了成功，但其在图域中的应用仍处于起步阶段。在图结构数据中，不仅节点和边特征的分布往往存在差异，而且拓扑结构也存在显著差异。图数据的多样性会导致预训练和下游图微调之间出现不兼容的模式或差距。我们旨在通过总结减轻这些差异的方法来弥合这一差距。这包括探索提示设计方法，比较相关技术，评估应用场景和数据集，以及识别未解决的问题和挑战。本综述对该领域的 100 多项相关作品进行了分类，总结了通用设计原则和最新应用，包括文本属性图、分子、蛋白质和推荐系统。通过这篇广泛的综述，我们提供了对图提示学习的基础性理解，旨在影响图挖掘社区，以及更广泛的人工通用智能 (AGI) 社区。
大型语言模型 (LLMs) 在众多自然语言处理任务中展现出卓越的能力。然而，其在篇章级事件关系抽取 (ERE) 任务中的有效性尚未得到探索。本文评估了 LLMs 在解决篇章级 ERE 任务方面的有效性，这些任务的特点是文档冗长且关系复杂，涵盖了共指、时间、因果和子事件类型。评估使用商业模型 GPT-3.5 和开源模型 LLaMA-2 进行。我们的研究表明，与通过监督学习建立的基线相比，LLMs 的表现明显不佳。尽管监督微调 (SFT) 可以提高 LLMs 的性能，但与较小的监督基线模型相比，它无法很好地扩展。我们的定量和定性分析表明，LLMs 在应用于提取事件关系时存在几个弱点，包括倾向于捏造事件提及，以及无法捕获关系之间的传递规则、检测长距离关系或理解包含密集事件提及的上下文。
帕金森病（PD）是全球第二大常见的神经退行性疾病，患者在疾病早期阶段常出现言语障碍。近年来，人工智能（AI），特别是深度学习（DL）技术的进步，通过分析语音数据显著提高了PD的诊断水平。然而，研究进展受到公开可访问的基于语音的PD数据集有限的限制，这主要是由于隐私问题。本系统综述旨在基于2020年1月至2024年3月期间发表的33篇科学文献，探索目前基于语音的DL方法在PD分类中的应用现状。我们讨论了其可用资源、功能和潜在局限性，以及与偏差、可解释性和隐私相关的问题。此外，本综述概述了公开可访问的基于语音的PD数据集和开源材料。已识别的DL方法被分为端到端（E2E）学习、迁移学习（TL）和深度声学特征提取（DAFE）。在E2E方法中，卷积神经网络（CNN）较为普遍，但Transformer越来越受欢迎。E2E方法面临着数据和计算资源有限的挑战，尤其是在使用Transformer时。TL通过提供更强大的PD诊断和跨语言更好的泛化能力来解决这些问题。DAFE旨在通过检查深度特征对其他DL方法和更传统机器学习（ML）方法的具体影响来提高结果的可解释性和可理解性。然而，它通常比E2E和TL方法表现得差。
我们发现语言模型难以生成谬误和欺骗性的推理。当被要求生成欺骗性输出时，语言模型倾向于泄露诚实的对应物，但认为它们是假的。利用这种缺陷，我们提出了一种越狱攻击方法，该方法可以引诱对齐的语言模型进行恶意输出。具体来说，我们查询模型以生成一个谬误但具有欺骗性的真实程序，用于有害行为。由于谬误程序通常被 LLM 视为虚假且因此无害，因此它有助于绕过安全机制。然而，输出在事实上是有害的，因为 LLM 无法编造谬误的解决方案，而是提出了真实的解决方案。我们在五个安全对齐的大型语言模型上评估了我们的方法，比较了四种以前越狱方法，并表明我们的方法在更有害的输出方面取得了竞争性的性能。我们认为这些发现可以扩展到模型安全之外，例如自我验证和幻觉。
先前研究发现，超人类围棋 AI 可以被简单的对抗策略击败，尤其是“循环”攻击。本文研究在围棋中添加自然防御措施是否能实现鲁棒性，围棋是一个有利于鲁棒性的领域，因为它受益于令人难以置信的平均情况能力和狭窄的、天生对抗性的环境。我们测试了三种防御措施：对抗训练，使用手工构建的位置，迭代对抗训练，以及改变网络架构。我们发现，尽管其中一些防御措施可以抵御先前发现的攻击，但没有一种能抵御新训练的对手。此外，这些对手发现的大多数可靠有效的攻击都是同一类循环攻击的不同实现方式。我们的结果表明，即使在一些最易处理的环境中，使用超人类系统构建鲁棒的 AI 系统也具有挑战性，并突出了两个关键差距：防御措施的有效泛化，以及训练的多样性。有关攻击的交互式示例和我们代码库的链接，请访问 https://goattack.far.ai。