arXiv:2504.06322v1 类型: cross
摘要：本文批评了人工智能和工作研究中占主导地位的还原论方法，这种方法将任务和技能视为可替代的组成部分。相反，它提倡一种系统的观点，强调任务、角色和工作场所情境之间的相互依存关系。提出了两种互补的方法：一种是富含情境的民族志方法，强调AI如何重新配置工作环境和专业知识；另一种是关系导向的任务分析方法，将微观层面的工作描述与宏观层面的劳动趋势联系起来。作者认为，有效的AI影响评估必须超越对自动化率的预测，包括伦理、福祉和与专业知识相关的问题。通过对实证案例的研究，他们展示了AI如何重塑人机关系、专业角色以及隐性知识实践。最后，本文呼吁一种以人为本的、整体性的框架，指导组织和政策决策，平衡技术可能性与社会 desirable 性和工作的可持续性。
arXiv:2504.06320v1 类别: cross
摘要：由于数字转型速度加快以及物联网设备和工业控制系统（ICS）的集成，关键基础设施遭受的网络攻击，特别是对水分配系统的攻击，有所增加。这些混合了物理现象的系统（CPS）引入了新的脆弱性，需要强大的自动化入侵检测系统（IDS）来减轻潜在威胁。本研究通过利用传感器数据的时间相关性、将物理原理整合进机器学习模型以及优化边缘应用的计算效率，来应对异常检测的基本挑战。我们基于时间差分一致性（TDC）损失的概念来捕捉系统动态，确保动态状态之间的有意义关系。在此基础上，我们提出了一个混合自编码器方法，称为混合TDC-AE，该方法通过结合确定性节点和传统的统计节点，扩展了TDC的适用范围。这种混合结构使模型能够处理非确定性过程。我们的方法在分类性能上达到了最先进的水平，同时将检测异常的时间提高了3%，而在不需要特定领域知识的情况下超越了BATADAL挑战的领导者，使其具有广泛的应用性。此外，它保持了传统自编码器的计算效率，同时减少了全连接层的数量，从而提供了一个更加可持续和高效的解决方案。该方法展示了利用物理启发的一致性原则如何增强异常检测，并增强混合物理系统的韧性。
arXiv:2504.06319v1 类型: cross
摘要: 大型语言模型（LLMs）在推断过程中由于高带宽内存（HBM）带宽约束表现出显著的内存瓶颈特性。本文提出了一种面向L2缓存的异步键值缓存预取方法，通过计算负载重叠来突破LLM推断中的内存带宽瓶颈。通过在活跃计算窗口期间战略性地调度空闲的内存带宽，我们的方法主动将所需的键值缓存预取到GPU L2缓存中，从而在后续访问时实现高速的L2缓存命中，并有效地将HBM访问延迟隐藏在计算周期内。在NVIDIA H20 GPU上的广泛实验表明，所提出的方法在注意力内核效率上实现了2.15倍的提升，并且在端到端吞吐量上最多实现了1.97倍的提升，超过了最先进的基线FlashAttention-3。值得注意的是，我们的解决方案保持与现有优化技术的正交性，可以与当前的推断框架集成，提供一种面向下一代LLM推断引擎的可扩展的延迟隐藏解决方案。
arXiv:2504.06312v1 类型: cross
摘要: 我们引入了一种新的用于小分子生成的图扩散模型 \emph{DMol}，在所有基准数据集上，与最先进的 DiGress 模型相比，在有效性方面大约高出 1.5%，同时减少至少 10 倍的扩散步骤，并将运行时间缩短至大约一半。性能改进源于目标函数的细致调整和一种“图噪声”调度方法，在每次扩散步骤中，允许仅改变分子图中不同规模的节点子集。该方法的另一个相关特性是它可以很容易地与由压缩相关环结构成的超级节点而形成的类似 junction-tree 的图表示相结合。与传统的 junction-tree 技术需要涉及 VAEs 并且需要复杂的重构步骤不同，压缩的 DMol 直接在仅压缩仔细选择的频繁碳环到超级节点的图上执行图扩散，从而实现直接的样本生成。压缩的 DMol 方法相对于通用的 DMol 在有效性方面还提供了大约 2% 的额外改进，增加了该方法的新颖性，并且由于图大小的减少而进一步提高了运行时间。
arXiv:2504.06308v1 种类:交叉
摘要:旋转位置嵌入(RoPE)由于其高效性和外推能力，在Transformer中得到了广泛采用。然而，现有的RoPE变体缺乏统一的理论基础，尤其是在高维情况下。在本文中，我们提出了一个基于李群和李代数理论的系统数学框架来定义RoPE。我们识别了RoPE的两个核心特性，分别命名为相关性和可逆性，并推导出1D、2D和N维(ND)有效RoPE的一般约束和构建方法。我们证明RoPE必须位于特殊正交李代数的最大阿贝尔子代数(MASA)的基础上，并表明标准RoPE对应于最大拟核子代数。此外，我们提出通过学习正交基变换来建模跨维度的交互。我们的框架统一并解释了现有的RoPE设计，同时允许对新的模态和任务进行原则上的扩展。
arXiv:2504.06307v1 通告类型: cross
摘要: 大型语言模型（LLMs）的快速采用导致了显著的能源消耗和碳排放，对生成型人工智能技术的可持续性构成了关键性挑战。本文探讨了在LLM部署中整合高效的能源优化技术，以应对这些环境问题。我们展示了案例研究和框架，证明了通过战略性量化和局部推理技术，可以在不牺牲其操作有效性的情况下大幅降低LLM的碳足迹。实验结果表明，这些方法在量化后可降低高达45%的能源消耗和碳排放，使其特别适合资源限制的环境。研究结果提供了实现人工智能可持续性方面的可操作见解，同时保持高准确性和响应性。
arXiv:2504.06306v1 公告类型: cross
摘要：癌症仍然是全球健康面临的重大挑战，并且是导致大量死亡的主要原因之一。本研究利用机器学习（ML）来预测具有转移模式的癌症患者的生存率，使用了包含25,775名患者（涵盖27种癌症类型）的综合MSK-MET数据集，其中包括基因组和临床数据。我们评估了五种ML模型——XGBoost、朴素贝叶斯、决策树、逻辑回归和随机森林，采用了超参数调优和网格搜索方法。XGBoost在曲线下面积（AUC）上表现最佳，达到了0.82。为了增强模型的可解释性，我们应用了SHapley加性解释（SHAP），揭示了关键预测因素，如转移部位数量、肿瘤突变负担、基因组改变的比例以及器官特异性转移。进一步通过Kaplan-Meier曲线、Cox比例风险模型和XGBoost生存分析进行了生存分析，确定了患者结果的重要预测因素，为临床工作者提供了可操作的见解。这些发现有助于个性化预后和治疗计划，最终改善患者的护理。
arXiv:2504.06305v1 类型: 交叉领域
摘要：本研究探讨了基于分数阶生成模型在储层模拟中的应用，重点是通过两个井位置的稀疏观测重建盐水含水层的空间变化渗透率和饱和度场。通过建模高保真储层模拟中导出的渗透率和饱和度的联合分布，所提出的神经网络被训练以学习介观流体在多相流体在多孔介质中复杂的时空动力学。在推理过程中，该框架通过条件化从井录数据中提取的稀疏垂直剖面有效地重构了渗透率和饱和度场。该方法引入了一种新的方法，用于将物理约束和井录指导纳入生成模型中，显著提高了重建地下状态的准确性和物理合理性。此外，该框架在不同的地质场景下展示了强大的泛化能力，突显了其在数据稀缺的储层管理任务中实际部署的潜力。
arXiv:2504.06303v1 类型: cross
摘要：理解并缓解偏差对于在高风险决策中采用大型语言模型（LLMs）至关重要。我们引入了涉及假设性申请人的录取和招聘决策任务，其中可以从申请人的姓名推断出其种族，作为衡量种族偏见的简化测试平台。我们展示了Gemma 2B Instruct和LLaMA 3.2 3B Instruct表现出强烈的偏见。Gemma对白人申请者的录取率比黑人高出26%，而LLaMA对亚洲申请者的招聘率比白人高出60%。我们证明这些偏见对提示工程具有抵抗力：多种提示策略都无法促进公平性。相比之下，使用分布式对齐搜索，我们可以在模型激活中识别出“种族子空间”，并对它们进行干预以减轻模型决策的偏见。在子空间内跨所有种族平均表示减少了Gemma的偏见37-57%。最后，我们考察了Gemma种族子空间的泛化能力，并发现有限的证据表明泛化能力，其中提示格式的变化可以影响种族表示。我们的工作表明，可以提供改进LLMs公平性的有希望的方法，但普遍的种族表示仍难以实现。
arXiv:2504.06294v1 交叉类型: cross
摘要: 提出研究问题是一项基础但具有挑战性的学术技能，生成型人工智能系统常常简化这一过程，通过提供即时答案而非促进学生的反思。本研究协议基于建构主义学习理论，旨在评估一种新型的基于人工智能的苏格拉底式导师，该导师旨在促进认知参与并支撑高教中的研究问题发展。该导师立足于对话式教学法，通过迭代的反思性提问与学生互动，旨在促进系统2思维，并减少对人工智能生成输出的过度依赖。在类实验设计中，大约80名德国预职生物学教师学生将被随机分配到两个组之一：人工智能苏格拉底式导师组和未提供指导的聊天机器人控制组。在多个循环中，学生将基于背景文本提出研究问题，其质量将通过双盲专家评审进行评估。研究还将考察这些技能的迁移情况，并通过混合方法分析捕捉学生的感觉，包括调查、访谈和反思日记。本研究旨在增进对生成型人工智能如何能够与教育知觉相一致，以支持而非取代人类认知的理解，并提出人类与人工智能合作设计的原则。