arXiv:2504.11564v1 交叉类型: 公告
摘要:随着人工智能(AI)系统迅速获得自主权,构建稳健的负责任AI框架的需求变得至关重要。本文探讨了组织在日益复杂的代理AI景观中如何看待并适应这些框架。采用解释性的定性研究方法,该研究探讨了AI专业人员的生活体验。研究发现,代理AI系统的固有复杂性及其负责任实施的复杂性,根植于负责任AI维度的错综复杂性和主题框架(从数据中开发出的分析结构)的交织关系,加之代理AI的新颖性,导致了组织适应过程中面临重大挑战,表现为知识差距、利益相关者参与的有限强调以及对控制的高度关注。这些因素通过妨碍有效的适应和实施,最终削弱了负责任AI的潜力和投资回报实现。
arXiv:2504.11558v1 类别: cross
摘要: 我们介绍了错误广播和脱相关(EBD)算法,这是一种新颖的学习框架,通过直接广播输出误差到各个层来解决神经网络中的信用分配问题。利用最小均方误差(MMSE)估计器的随机正交性特性,EBD定义了逐层的损失函数来惩罚层激活和输出误差之间的相关性,提供了一种无需权重传输的错误广播的原理性方法。优化框架自然地导致了实验中观察到的三因素学习规则,并与生物可实现的框架集成,以提高性能和可行性。数值实验表明,EBD在基准数据集上的性能与已知的错误广播方法相当或更好。尽管EBD在非常大规模或复杂的数据集上的可扩展性仍需进一步探索,但我们的发现表明它提供了一种生物可实现、高效且适应性强的神经网络训练替代方案。这种方法可能为未来的人工和自然学习范式的进步提供指导。
arXiv:2504.11536v1 声称类型: cross
摘要:尽管使用强化学习(RL)训练的推理模型(例如 DeepSeek R1)在文本推理方面表现出色,但在需要结构化问题解决的情景下(如几何推理、简洁计算或复杂方程求解),它们却难以应对,这些领域正是像代码解释器(CI)这样的计算工具展现其独特优势的领域。为弥合这一差距,我们提出了 ReTool,这是一种结合了工具集成学习的增强长形式推理方法,包括两个核心功能:(1)在自然语言推理过程中实现即时代码执行的动态交错,以及(2)一种自动化的 RL 架构,允许基于多轮即时代码执行的策略部署,并教会模型根据结果反馈何时及如何调用工具。ReTool 使用系统化的训练框架开始于合成冷启动数据生成,生成代码增强的长形式推理轨迹以精细调校基模型。随后的 RL 训练利用任务结果作为奖励,逐步精炼模型的工具使用策略,使其能够在没有人类先验的情况下自主发现最优工具调用模式。实验结果显示,ReTool 在具有挑战性的数学奥林匹克竞赛基准测试 AIME 上表现出色:我们的 32B 模型在 400 次训练步骤中达到了 67% 的准确率,优于基于文本的 RL 基准(1080 次步骤的 40% 准确率)在效率和性能方面的表现。令人惊讶的是,ReTool-32B 在扩展设置中的准确率达到 72.5%,超越了 OpenAI 的 o1-preview 27.9%。进一步的分析揭示了诸如代码自我纠正等新兴行为,标志着模型自主掌握适应性工具使用的技术突破(aha moment)。这些发现表明了以结果驱动的工具集成在推进复杂数学推理方面的潜力,并提供了关于混合神经符号系统的全新见解。
arXiv:2504.11511v1 宣告类型: cross
摘要:强化学习(RL)在关键现实世界应用中的崛起要求对人工智能系统中的隐私进行根本性的重新思考。传统的隐私框架旨在保护孤立的数据点,但针对那些从时间模式、行为策略和协作动态中产生敏感信息的顺序决策系统来说,它们做得并不够。现代的RL范式,如联邦强化学习(FedRL)和在大型语言模型(LLMs)中的带有人类反馈的RL(RLHF),通过引入复杂的、互动的和情境依赖的学习环境,使这些问题更加严峻,而传统的方法未能解决这些问题。在本文中,我们认为需要建立一个新的隐私范式,基于四个核心原则:多层次保护、行为模式保护、协作隐私保留和情境感知适应。这些原则揭示了隐私、效用和可解释性之间的内在紧张关系,这些必须在强化学习系统越来越多地应用于高风险领域(如医疗保健、自主车辆和由LLMs驱动的决策支持系统)时进行导航。为了应对这些挑战,我们呼吁开发新的理论框架、实际机制和严谨的评估方法,这些方法共同促进对顺序决策系统中的有效隐私保护。
arXiv:2504.11510v1 宣告类型:交叉
摘要:在各种网络和移动应用程序中,用户极易受到属性推断攻击的影响,特别是推荐系统中尤为常见。攻击者利用推荐模型中部分暴露的用户资料,如用户嵌入,来推断目标用户的私人属性,例如性别和政治观点。防御者的目的是在保证推荐性能的前提下减轻这些攻击的有效性。现有的大多数防御方法,如差分隐私和属性遗忘,主要集中在后训练设置中,这限制了它们利用训练数据来保持推荐性能的能力。尽管对抗性训练将防御范围扩展到了训练过程中,但其往往因训练过程不稳定而难以收敛。在本文中,我们提出了RAID,一种针对推荐系统中属性推断攻击的训练过程中防御方法。除了推荐目标之外,我们定义了一个防御性目标,确保保护属性的分布与类别标签无关,使用户在属性推断攻击中无法被区分。具体来说,这个防御性目标旨在解决受限的Wasserstein中心点问题,以找到使属性无法被区分的中心分布,并且要遵守推荐性能的约束条件。为了优化我们提出的这个目标,我们使用最优传输来使用户与中心分布对齐。我们在四个真实世界的数据集上进行了广泛的实验来评估RAID。实验结果验证了RAID的有效性,并从多个方面展示了其相对于现有方法的显著优越性。
arXiv:2504.11501v1 宣布类型: 横向
摘要:本文提出了一种通过混合公私系统来治理前沿AI系统的提议。在政府授权和监督下,私营机构为愿意加入的前沿AI系统的开发人员提供认证。作为加入的交换,前沿AI企业将获得对其模型客户误用的豁免,免除诉讼责任。在详细阐述提议之前,本文探讨了更常讨论的AI治理方法,分析了它们的优势和缺陷。此外,本文还考察了前沿AI治理本身的特点。本文涵盖了其所提议的治理体系在政治经济、制度、法律、安全及其他方面的优势与权衡。
arXiv:2504.11500v1 类型: cross
摘要:公交出行OD(目的地)数据对于公交规划至关重要,特别是在线路优化和响应式交通辅助系统方面。传统方法如人工调查成本高且效率低,而基于蓝牙和WiFi的方法需要乘客携带特定设备,限制了数据覆盖范围。另一方面,大多数公交车辆配备了用于监控的车内摄像头,这为通过视觉再识别(ReID)技术重新利用这些摄像头进行基于边缘的OD数据收集提供了机会。然而,这种方法面临显著挑战,包括公交环境中严重的遮挡和视角变化,这大大降低了匹配准确性并阻碍了其应用。此外,在边缘设备上高效运行的有效算法设计仍然是一个开放的问题。为了解决这些挑战,我们提出了一种新的框架TransitReID,用于个人级别的公交OD数据收集。TransitReID包括两个关键组件:(1)一种鲁棒ReID算法,具有变分自编码器引导的区域注意力机制,可以通过重构损失优化权重分配来适配性地聚焦于可见的体部区域;(2)一种专为高效和鲁棒的公交OD匹配设计的分层存储和动态匹配(HSDM)机制,平衡了存储、速度和准确性。此外,多线程设计支持边缘设备上的近实时操作,同时也确保了隐私保护。我们还引入了一个针对复杂公交环境的ReID数据集,以解决相关训练数据的不足问题。实验结果表明,TransitReID在ReID任务中达到了最先进的性能,模拟公交车线路中的准确性约为90%。
arXiv:2504.11493v1 Announce Type: 交叉
摘要:理解人类和机器人之间的动作对应对于评估决策中的对齐至关重要,特别是在未结构化环境中的人机协作和模仿学习中。我们提出了一种多模态演示学习框架,该框架通过体素化RGB-D空间中的机器人演示,明确建模来自RGB视频的人类演示。我们以RH20T数据集中“取放”任务为重点,利用10种不同场景中5名用户的数据。方法结合了基于ResNet的视觉编码进行人类意图建模,并使用体素化的感知器变换器进行机器人动作预测。经过2000个训练周期后,人类模型的准确率为71.67%,机器人模型的准确率为71.8%,表明该框架在执行任务中对齐复杂多模态的人类和机器人行为的潜力。
arXiv:2504.11482v1 跨领域公告类型
摘要:基于视觉的海洋作业中,水下图像去雾是非常关键的,因为光线散射和吸收会严重影响能见度。本文介绍了一种名为snnTrans-DHZ的轻量级脉冲神经网络(SNN),该网络专门设计用于水下去雾。通过利用SNN的时间动态特性,snnTrans-DHZ能够高效处理时间依赖的原始图像序列,同时保持低功耗。首先,静态水下图像通过在用户定义的时间步长中重复输入同一张图像,被转换成时间依赖的序列。然后,这些RGB序列被转换到LAB颜色空间表示,并同时进行处理。该架构包含三个关键模块:(i)一个K估计器,用于从多种颜色空间表示中提取特征;(ii)一个背景光估计器,能够从RGB-LAB图像中联合推断背景光成分;(iii)一个软图像重建模块,用于生成无雾、能见度增强的输出。snnTrans-DHZ模型直接使用基于替代梯度的时间反向传播(BPTT)策略和一种新的综合损失函数进行训练。在UIEB基准测试上,snnTrans-DHZ实现了21.68 dB的PSNR和0.8795的SSIM;在EUVP数据集上,其实现了23.46 dB的PSNR和0.8439的SSIM。该模型仅有0.5670百万个网络参数,仅需7.42 GSOPs和0.0151焦耳的能量,其表现明显优于现有最先进的方法,在效率方面具有显著优势。这些特性使得snnTrans-DHZ非常适合部署在水下机器人、海洋探索和环境监测中。
arXiv:2504.11478v1 Announce Type: 跨领域
摘要:我们提出了一种使用朴素Flux模型的简单而有效的 zero-shot 图像生成框架,以实现主题驱动的图像生成。通过将任务构想为基于网格的图像补全,并在马赛克布局中简单地复制主体图像(多张),我们激活了强大的保持身份的能力,而无需任何额外的数据、训练或推理时的微调。这种“免费午餐”方法通过一种新颖的级联注意机制和元提示技术进一步增强,提升了真实感和多样性。实验结果表明,与基准相比,我们的方法在多个关键指标上的表现更优,具有某些方面的折衷。此外,它支持多样化的编辑,包括logo插入、虚拟试穿以及主体替换或插入。这些结果表明,预训练的文本到图像基础模型可以实现高质量、资源高效的主题驱动生成,为下游应用中的轻量级自定义打开了新的可能性。