arXiv:2502.11141v2 宣告类型: replace-cross
摘要:最近的研究表明,大脑比以前认为的要浅得多,这挑战了传统上假定的背侧视觉通路的分层结构。在此,我们展示了通过进化神经架构搜索优化卷积网络架构以与大脑对齐的结果是有清晰表征分层结构的模型。尽管它们的权重是随机的,但识别出的模型在测量回归和表征相似性分析时达成的大脑对齐分数甚至超过了预训练分类模型。此外,通过传统的监督训练,优化与背侧晚期区域对齐的架构可以成为有竞争力的分类模型。这些发现表明,分层结构是灵长类视觉处理的基本机制。最后,这项工作展示了神经架构搜索作为计算认知神经科学研究框架的潜力,有可能减少领域对手动设计卷积网络的依赖。
arXiv:2502.10689v2 通知类型: 替换-交叉
摘要:电子健康记录(EHRs)的急剧增长使深度学习模型在预测性医疗保健方面表现出色。然而,在诊断预测等高风险应用中,模型的可解释性仍然至关重要。现有的具有内在可解释性的深度学习诊断预测模型通常为每次过去的诊断或医院访问分配注意权重,提供的解释缺乏灵活性和简洁性。在本文中,我们介绍了SHy,一种自我解释的超图神经网络模型,旨在提供个性化、简洁且忠实的解释,这些解释允许临床专家进行干预。通过将每位患者建模为一个独特的超图,并采用消息传递机制,SHy捕捉了更高级别的疾病相互作用,并提取了作为个性化解释的独特时间表型。此外,通过考虑原始诊断记录中的重要遗漏,SHy解决了EHR数据的不完整性问题。在两个真实世界EHR数据集上的定性案例研究和广泛的定量评估表明,SHy的预测性能和解释性优于现有最先进的模型。
arXiv:2502.07963v2 通知类型: 替换-交叉
摘要:医学研究在将新颖治疗方法转化为临床实践方面面临着广泛记录的挑战。出版激励促使研究人员呈现“积极”的研究成果,即使实证结果是含糊不清的。因此,众所周知,作者经常扭曲研究结果,尤其是在文章摘要中。这种扭曲可以影响临床医生对证据的解释,并可能影响患者的治疗决策。在本研究中,我们询问大型语言模型(LLMs)提供的试验结果的解释是否同样受到这种扭曲的影响。这很重要,因为LLMs正在越来越多地被用于浏览和综合已发表的医学证据。我们评估了22种LLMs,并发现它们在不同程度上比人类更容易受到这种扭曲的影响。此外,它们可能还会在其输出中传播这种扭曲:我们发现证据表明,LLMs在其生成的普通语言摘要中隐式地包含了这种扭曲。然而,我们还发现,LLMs普遍有能力识别这种扭曲,并可以通过某种方式提示以减轻其对LLMs输出的影响。
arXiv:2502.05945v2 宣告类型: replace-cross
摘要:随着大型语言模型的广泛应用,稳健的对齐护栏变得越来越重要。与之前的研究所不同,我们证明了推理时的激活干预可以绕过安全性对齐,有效地引导Llama 2模型生成有害的人工智能协调。我们的方法针对特定的模型子组件,特别是注意力头,应用了简单的二元选择探针策略,进行了细微的干预。这些干预措施在开放生成场景中有效泛化,从而绕过了安全护栏。我们展示了单独探针注意力头的效果优于干预整个层,仅干预四个注意力头在效果上与监督微调相当。我们进一步展示了只需少数例句完成即可计算有效的引导方向,这与经典的微调相比是一个优势。我们的发现突显了当前对齐技术的不足。此外,我们的结果表明,在注意力头级别上,激活包含了细微的线性可分行为。从实际角度来看,该方法提供了一种直接的方法来引导大型语言模型的行为,这种方法可以扩展到安全之外,需要对模型输出进行精细控制的多样化领域。该研究的代码和数据集可以在 https://github.com/PaulDrm/targeted_intervention 找到。
arXiv:2502.00040v2 通告类型: 替换-交叉
摘要:随着各个领域的电气化进程加快,需要传输更多的电力,输电网络的拥堵情况也随之增加。通过变电站重新配置进行的拓扑控制可以减少拥堵,但在操作中其潜力仍然未得到充分挖掘。一个挑战在于如何建模拓扑控制问题,以便更好地与操作者的目标和约束条件相一致。为了解决这一挑战,本文研究了多目标强化学习(MORL)在电力网络拓扑控制中应用的可能性,以整合多个冲突的目标。我们开发了一种使用深度乐观线性支持(DOL)和多目标近端策略优化(MOPPO)的方法来生成一组帕累托最优策略,这些策略在最小化线路负载、拓扑偏差和切换频率等方面实现了目标的平衡。初步的案例研究表明,MORL 方法可以提供有关目标权衡的重要见解,并且与随机搜索基线相比,可以更好地逼近帕累托前沿。生成的多目标 RL 策略在故障情况下防止电网故障的成功率比通用的单目标 RL 策略高出 30%,并且在减少训练预算的情况下更为有效 - 相比之下,通用的单目标 RL 策略更有效率。
arXiv:2501.18768v2 通知类型: 替换-交叉
摘要:离线模型导向优化(MBO)的目标是仅给定离线数据集的情况下,提出能够最大化奖励函数的新设计方案。然而,一个重要的要求是也能提出一组多样化的最终候选方案,以捕捉多种最优和接近最优的设计配置。我们提出了多样性在对抗模型导向优化(DynAMO)作为一种新方法,将设计多样性明确地引入到任何MBO问题中。我们关键的洞察是将多样性形式化为一个分布匹配问题,其中生成的设计的分布捕捉了离线数据集中固有的多样性。跨多个科学领域的广泛实验表明,DynAMO 可以与常见的优化方法结合使用,显著提高所提议的设计的多样性,同时仍然发现高质量的候选方案。
arXiv:2501.17982v2 宣告类型: 替换-交叉
摘要: 我们希望机器人在最小化状态不确定性的情况下导航到目标位置。为了帮助机器人实现这一目标,地图提供了对物体位置和感兴趣区域的先验信念。为了在地图中定位自己,机器人通过其传感器识别已知地标。然而,随着地图创建与机器人部署之间的时间增加,地图的一部分可能会变得过时,曾经被认为永久存在的地标可能会消失。我们将地标消失的倾向称为地标瞬变性。在路径规划过程中考虑地标瞬变性及其对定位精度的影响,需要分析每个地标的存在与否,从而导致给定运动计划可能的结果数量呈指数增长。为了解决这种复杂性,我们开发了BRULE,它是在推理路网上的一种扩展。在规划过程中,我们用能够捕捉地标瞬变效应的高斯混合模型替换对未来机器人姿态的信念。此外,我们展示了信念更新可以高效进行,并且保持混合模型组件的随机子集足以找到高质量的解决方案。我们在模拟和真实世界的实验中演示了性能。软件可在 https://bit.ly/BRULE 获得。
arXiv:2501.16370v2 通知类型: 替换交叉
摘要:在本文中,我们提出了残差积分解算器网络(RISN),这是一种新颖的神经网络架构,旨在解决广泛范围的积分和积分微分方程,包括一维、多维、常微分和偏微分积分微分系统、分数阶类型以及包含振荡内核的亥姆霍兹型积分方程。RISN 将残差连接与高精度数值方法(如高斯求积和分数微分运算矩阵)结合在一起,使其能够比传统物理知情神经网络(PINN)实现更高的准确性和稳定性。残差连接有助于缓解梯度消失问题,使 RISN 能够处理更深的网络和更复杂的内核,特别是在多维问题中。通过广泛的实验,我们证明了 RISN 无论在经典 PINN、辅助 PINN(A-PINN)还是自适应 PINN(SA-PINN)等高级变体中,都始终表现出色,实现了各种类型方程在平均绝对误差(MAE)方面显著更低的结果。这些结果突显了 RISN 在解决具有挑战性的积分和积分微分问题时的鲁棒性和效率,使其成为传统方法在实际应用中难以应对时的一种宝贵工具。
arXiv:2501.15877v3 Announce Type: replace-cross
摘要:需要多样化的高质量口吃语音数据的需求日益增长,尤其是在印度语言的背景下。本文介绍了 Project Boli,这是一个多语言口吃语音数据集,旨在促进对口吃者及其技术开发的理解,尤其是针对印度的口吃者。该数据集包含以下内容:(a) 匿名的元数据(性别、年龄、国家、母语)以及关于口吃如何影响他们日常生活的问题问卷的回复,(b) 对每位参与者既进行了使用 Rainbow Passage 的朗读语音的录制,也进行了通过图像描述任务的自发语音的录制,以及 (c) 包含五种口吃类型的详细注释:阻塞、延长、插入、音素重复和词重复。我们对数据集进行了全面分析,包括数据收集过程、口吃者的经验总结、口吃事件的严重程度评估以及收集数据的技术验证。该数据集作为开放访问发布,以进一步促进语音技术的发展。
arXiv:2501.13947v3 宣告类型: replace-cross
摘要:人工智能的迅速发展在该领域带来了显著的进步。一个有趣的研究方向是大型语言模型(LLMs)能否与结构化的知识库系统相结合。这种方法旨在将LLMs的生成语言理解和通过它们结合的精确知识表示系统结合起来。本文探讨了LLMs与知识库之间的关系,研究了它们在实际中的应用,并讨论了相关的技术、运营和伦理挑战。通过全面的文献审查,研究不仅指出了重要问题,还评估了现有解决方案。它展示了将生成AI集成到结构化的知识库系统中的优点,包括数据上下文化、模型准确性以及知识资源的利用。研究结果详细列出了当前的研究状况,指出了主要的差距,并提出了有益的发展路径。这些见解有助于推进AI技术的发展,并支持其在各个领域的实际部署。