LLM2D

arXiv 论文列表

作者: Zhiyu Zhu, Jiayu Zhang, Zhibo Jin, Fang Chen, Jianlong Zhou
arXiv:2505.06258v1 Announce Type: cross 摘要:归因算法对于通过识别驱动模型决策的关键特征来增强深度学习模型的可解释性和可信度至关重要。现有的框架,如InterpretDL和OmniXAI,集成了多种归因方法,但存在可扩展性限制、高度耦合、理论约束以及缺乏用户友好的实现等问题,阻碍了神经网络的透明性和互操作性。为了解决这些挑战,我们提出了基于归因的可解释性(ABE),这是一种统一框架,它形式化了基本归因方法,并集成了最先进的归因算法,同时确保符合归因公理。ABE 允许研究人员开发新的归因技术,通过四个可定制的模块:鲁棒性、可解释性、验证和数据与模型来增强可解释性。该框架提供了一个可扩展、可扩展的基础,用于推进基于归因的可解释性,并促进透明的人工智能系统。我们的代码可在以下地址获取:https://github.com/LMBTough/ABE-XAI。
发布时间: 5/13/2025
查看原文
arXiv:2505.06257v1 类型: cross 摘要: 注意重点信息是哺乳动物大脑和现代机器学习模型(如变压器)的基本原理。然而,确定相关性仍然是一个核心挑战,传统上被学习算法(如反向传播)卸载处理。受到最近神经细胞生物学证据的启发,这些证据将新皮层棱柱细胞与不同的心理状态联系起来,这项工作展示了模型(例如,变压器)如何模仿高级感知处理和清醒思考(想象)状态,在应用注意力之前预先筛选相关信息。三元神经级调制回路,其中问题($Q$)、线索(键,$K$)和假设(值,$V$)相互作用,能够在表示层面使多样化的、深刻的、并行的推理链变得可能,并允许从初始偏见快速转向精炼的理解。这导致了学习速度显著加快,计算需求大大减少(例如,较少的头数、层数和标记数),成本约为$\mathcal{O}(N)$,其中$N$是输入标记的数量。结果涵盖了强化学习(例如,在高维视觉设置下的CarRacing)、计算机视觉和自然语言问答。
发布时间: 5/13/2025
查看原文
作者: Fuhui Zhou, Chunyu Liu, Hao Zhang, Wei Wu, Qihui Wu, Derrick Wing Kwan Ng, Tony Q. S. Quek, Chan-Byoung Chae
arXiv:2505.06256v1 交叉公告类型:cross 摘要:智能频谱管理对于提高频谱效率并实现频谱资源的安全利用至关重要。然而,现有的智能频谱管理方法通常基于小型模型,在识别准确性、收敛速度和泛化能力方面存在显著局限性,特别是在复杂和动态的频谱环境中。为了解决这些挑战,本文提出了一种新的频谱基础模型,称为SpectrumFM,并建立了一种新的频谱管理范式。SpectrumFM具有一种创新的编码器架构,该架构结合使用卷积神经网络和多头自注意力机制,以增强特征提取并实现稳健的表示学习。该模型通过两个新颖的自监督学习任务——掩码重构和下一个插槽数字信号预测——预先训练,利用大规模的同相和正交(IQ)数据实现全面和可传递的频谱表示。此外,提出了一种参数高效的微调策略,使SpectrumFM能够适应各种下游频谱管理任务,包括自动调制分类(AMC)、无线技术分类(WTC)、频谱感知(SS)和异常检测(AD)。广泛的实验表明,SpectrumFM在准确性、鲁棒性、适应性、少量示例学习效率和收敛速度方面取得了出色的表现,在多个基准测试上始终优于传统方法。具体而言,SpectrumFM将AMC的准确性提高了12.1%,WTC的准确性提高了9.3%,在-4 dB信噪比(SNR)下频谱感知(SS)的曲线下面积(AUC)达到0.97,并将异常检测(AD)性能提高了超过10%。
发布时间: 5/13/2025
查看原文
作者: Yizhuo Wu, Yi Zhu, Kun Qian, Qinyu Chen, Anding Zhu, John Gajadharsing, Leo C. N. de Vreede, Chang Gao
arXiv:2505.06250v1 类型: cross 摘要: 数字预失真(DPD)是一种提高宽带射频功率放大器(PA)信号质量的流行技术。随着带宽和数据速率的增加,DPD在部署过程中面临着显著的能耗挑战,这与它的效率目标相矛盾。当今最先进的DPD模型依赖于循环神经网络(RNN),但其计算复杂性阻碍了系统的效率。本文介绍了DeltaDPD,探索了RNN中输入信号和神经元隐藏状态的动态时间稀疏性,以实现能效DPD,同时减少算术运算和内存访问次数,但仍能保持满意的线性化性能。将TM3.1a 200MHz-BW 256-QAM OFDM信号应用于3.5 GHz GaN Doherty射频PA,DeltaDPD在邻道功率比(ACPR)中实现了-50.03 dBc,在归一化均方误差(NMSE)中实现了-37.22 dB,在错误向量幅度(EVM)中实现了-38.52 dBc,在52%的时间稀疏度下,估计的推理功耗减少了1.8倍。DeltaDPD的代码将在正式发表后在https://www.opendpd.com 发布。
发布时间: 5/13/2025
查看原文
作者: Dominic Parosh Yamarthi, Haripriya Raman, Shamsad Parvin
arXiv:2505.06246v1 事故类型:横跨 摘要:道路事故严重威胁公共安全,需要进行深入分析以制定有效的预防和缓解策略。本文专注于通过分析涵盖美国49个州的全面交通数据集来预测事故。该数据集集成了来自交通部门、执法机构和交通传感器等不同来源的信息。本文特别强调通过回归分析和时间序列分析等先进的机器学习模型预测事故数量。各种因素的纳入,从环境条件到人类行为和基础设施,确保了对影响道路安全动态的全面理解。时序和空间分析进一步允许识别趋势、季节性变化以及高风险区域。本文的研究结果对于政策制定者和交通运输部门的前瞻性决策具有重要意义。通过提供在不同条件下预期事故率的准确预测和可量化的洞见,本文旨在使有关部门能够有效配置资源并实施有针对性的干预措施。目标是促进制定明智的政策和措施,以提高道路安全,为所有道路使用者创造一个更安全的环境。关键词:机器学习,随机森林,事故预测,自动机器学习,LSTM。
发布时间: 5/13/2025
查看原文
作者: Arek Berc Gokdag, Silvia Mura, Antonio Coviello, Michele Zhu, Maurizio Magarini, Umberto Spagnolini
arXiv:2505.06241v1 交叉公告类型 摘要:周围神经接口(PNIs)有助于神经记录和刺激,以治疗神经损伤,但实时分类电神经图(ENG)信号仍然具有挑战性,特别是由于植入设备的复杂性和延迟限制。本研究介绍了一种轻量级架构——MobilESCAPE-Net,它在保持并略有提高分类性能的同时减少了计算成本。与最先进的ESCAPE-Net相比,MobilESCAPE-Net在复杂性显著降低的情况下实现了相当的准确率和F1分数,可减少99.9%的可训练参数和92.47%的每秒浮点运算次数,从而实现更快的推理和实时处理。其高效性使它非常适合资源受限环境中ENG信号分类,如植入设备。
发布时间: 5/13/2025
查看原文
作者: Xinji Mai, Haotian Xu, Xing W, Weinong Wang, Yingying Zhang, Wenqiang Zhang
arXiv:2505.07773v1 通知类型: 新 摘要: 大型语言模型(LLMs)在需要精确可验证计算的数学推理任务上常常表现不佳。虽然基于结果奖励的强化学习(RL)增强了文本推理能力,但理解代理如何自主学习利用外部工具(如代码执行)仍至关重要。我们研究了基于结果奖励的强化学习在工具集成推理(ZeroTIR)中的应用,训练基础LLM自动生成和执行Python代码解决数学问题,而无需监督使用的工具示例。我们的主要贡献在于我们证明了随着RL训练的进展,关键指标按可预测的方式增长。具体来说,我们观察到在训练步骤增加时,自发代码执行频率、平均响应长度以及最终任务准确性显著提高。这表明计算投入与训练之间存在可量化的关系,这种关系有助于生成有效的、工具增强的推理策略。我们实现了一个稳健的框架,其中包括分离的代码执行环境,并在标准的RL算法和框架中验证了我们的发现。实验表明,ZeroTIR在具有挑战性的数学基准测试中显著优于非工具ZeroRL基线。我们的发现为代理RL中自主工具使用是如何获得及发展的提供了基础理解,并提供了一个可重复的基准,供未来研究使用。代码可以在 \href{https://github.com/Anonymize-Author/AgentRL}{https://github.com/Anonymize-Author/AgentRL} 获取。
发布时间: 5/13/2025
查看原文
arXiv:2505.07759v1 通知类型: 新 摘要:基于人工智能(AI)的虚拟助手(VAs),例如Google Gemini、ChatGPT、Microsoft Copilot和High-Flyer Deepseek的快速进化,已经使它们成为通过明确命令(例如提示)管理 emerging 技术(如智能家居、智能汽车、电子健康记录)的便捷接口,甚至可以通过语音启动这些命令,从而为最终用户提供一个非常便捷的接口。然而,对用户管理访问控制策略(U-MAPs)的适当指定和评估——这些策略由最终用户发布的规则以管理对敏感数据和设备功能的访问——在这些VA中呈现显著挑战,因为这一过程对于防止安全漏洞和隐私泄露至关重要,同时不影响用户体验。本研究对当前可获取的VAs能否有效地在不同的场景中管理U-MAPs进行了初步探索性调查。通过进行从非结构化到结构化的测试,我们评估了这些VA对U-MAP的理解,揭示了对不同U-MAP方法的了解不足。我们的研究不仅识别了关键限制,还提供了关于如何进一步改进VA以管理复杂的授权规则并适应动态变化的宝贵见解。
发布时间: 5/13/2025
查看原文
arXiv:2505.07757v1 介绍类型: 新颖 摘要:我们提出了一种名为情绪梯度元认知递归自改进(EG-MRSI)框架,这是一种新颖的架构,将反思性元认知、基于情绪的固有动机和递归自我修改整合到一个统一的理论系统中。该框架在形式上明确具有在有限风险下覆盖自身学习算法的能力。基于Noise-to-Meaning RSI(N2M-RSI)基础之上,EG-MRSI 引入了一个由信心、错误、新颖性和累积成功驱动的可微内在奖励函数。该信号调节着由可验证的安全机制约束的元认知映射和自我修改操作符。我们形式化定义了初始智能体配置、情绪梯度动态和RSI触发条件,并推导出一个与强化学习兼容的优化目标,该目标指导智能体的发展轨迹。意义密度和意义转换效率被引入作为语义学习的可量化指标,解决了内部结构与预测信息量之间的差距。本文 I 部分确立了EG-MRSI 的单智能体理论基础。未来部分将扩展该框架,包括安全证明和回滚协议(II 部分)、集体智能机制(III 部分),以及可行性约束包括热力学和计算限制(IV 部分)。EG-MRSI 系列提供了开放性和安全性AGI 的严格可扩展基础。
发布时间: 5/13/2025
查看原文
arXiv:2505.07693v1 宣告类型: 新 摘要: 本文介绍了信念注入,这是一种主动的知识控制机制,适用于认知状态结构化为动态语言信念片段的 artificial 环境中的代理。基于语义流形框架,信念注入直接将目标语言信念纳入代理的内部认知状态中,从主动而不是被动的角度影响推理和对齐。我们界定了各种注入策略,如直接、情境感知、目标导向和反思性方法,并将信念注入与相关的知识控制机制进行了对比,特别提到了信念过滤。此外,本文还讨论了实际应用、实施考虑、伦理影响,并提出了未来关于使用结构嵌入信念注入的认知治理的研究方向。
发布时间: 5/13/2025
查看原文