arXiv:2505.08392v1 宣布类型: cross
摘要:大规模语言模型利用链式思考(CoT)提示来执行复杂任务，但它们的推理踪迹往往过于冗长且效率低下，导致显著的计算成本和延迟。当前的CoT压缩技术通常依赖于通用的重要度度量和固定的压缩率，这可能会无意中移除功能上重要的标记，或者无法适应变化的推理复杂度。为克服这些限制，我们提出了“自适应GoGI跳过”(Adaptive GoGI-Skip)这一新颖的框架，利用监督微调来学习动态CoT压缩。这种方法引入了两项协同创新：(1) 目标梯度重要度(GoGI)，这是一种新颖的度量方法，通过测量中间表示对最终答案损失的梯度影响来准确地识别功能上相关的标记；(2) 自适应动态跳过(ADS)，这是一种机制，根据运行时模型的不确定性动态调整压缩率，同时通过自适应的N标记约束确保局部一致性。据我们所知，这是首个将目标导向的、基于梯度的重要度度量与动态的、不确定性感知的跳过相结合来压缩CoT的先例。通过压缩后的MATH数据进行训练，Adaptive GoGI-Skip在包括AIME、GPQA和GSM8K在内的各种不同的推理基准测试中显示出强大的跨域泛化能力。它在减少CoT标记数量方面取得了显著的效率提升——平均减少了超过45%的CoT标记数量，并提供了1.6至2.0倍的推理速度提升，同时保持了高水平的推理准确性。值得注意的是，在有效的压缩率较高的情况下，它显著优于现有基准，推动了CoT推理效率-准确性权衡的最新技术进展。
arXiv:2505.08376v1 交叉公告类型
摘要：最近的研究表明，通过建模复杂的策略、表达高度的多模态性以及高效处理高维连续控制任务，扩散模型在增强学习（RL）中具有巨大的潜力。然而，目前尚缺乏关于如何快速且稳定地优化基于扩散的策略（例如，扩散策略）的研究。在本文中，我们提出了一种基于Adam的扩散策略优化（ADPO），这是一种快速的算法框架，使用自适应梯度下降方法在机器人控制任务中调整基于扩散的策略。在RL训练中，自适应梯度方法较少受到关注，更不用说基于扩散的策略了。我们确认ADPO在标准机器人任务的微调效果上优于其他基于扩散的RL方法。具体而言，我们在标准机器人控制任务上进行了大量实验，以测试ADPO的效果，其中提供了六种流行的基于扩散的RL方法作为基准方法。实验结果表明，ADPO在基准方法上获得了更好的或大致相当的表现。最后，我们系统地分析了在标准机器人任务中多种超参数的敏感性，为后续的实际应用提供了指导。我们的视频演示在https://github.com/Timeless-lab/ADPO.git中发布。
arXiv:2505.08366v1 交叉类型
摘要：准确的相位解调对于使用毫米波雷达检测生命体征至关重要。然而，在复杂环境中，时间变化的直流偏移和相位不平衡会严重影响解调性能。为了解决这一问题，我们提出了一种新的直流偏移校准方法以及一种Hilbert和差分交叉乘积（HADCM）解调算法。该方法从相邻信号峰和谷中估计时间变化的直流偏移，然后利用I/Q通道信号的差分形式和Hilbert变换来提取生命体征信息。仿真和实验结果表明，在低信噪比下，所提出的方法能够维持稳健的性能。与现有解调技术相比，在具有挑战性的场景中，它提供了更准确的信号恢复，并有效抑制了噪声干扰。
arXiv:2505.08350v1 类型:交叉
摘要：本文介绍了一种名为StoryAnchors的统一框架，用于生成高质量、多场景的故事框架，并具有强烈的时间一致性。该框架采用双向故事生成器，结合过去和未来上下文以确保时间一致性、角色连续性和叙述中的平滑场景过渡。引入了特定条件来区分故事框架生成与标准视频合成，从而增加场景多样性并增强叙述丰富性。为进一步提高生成质量，StoryAnchors结合了多事件故事框架标注和渐进式故事框架训练，使模型能够捕捉宏观叙述流和事件级动态。这种方法支持创建可编辑和扩展的故事框架，允许手动修改和生成更长、更复杂的序列。广泛实验表明，StoryAnchors在一致性、叙述连贯性和场景多样性等方面优于现有的开源模型。其在叙述一致性和故事丰富性方面的性能也与GPT-4o相当。最终，StoryAnchors促进了以故事为导向的框架生成边界的突破，提供了一个可扩展、灵活且高度可编辑的基础框架，适用于未来的研究。
arXiv:2505.08349v1 Announce Type: cross
摘要：跨域少样本学习（CD-FSL）要求模型在显著的分布偏移下从有限的标记样本中进行泛化。尽管近年来的方法通过轻量级的任务特定模块增强了适应性，但它们仅在空间域中操作并忽视了低频和高频特定的变异性，这些变异性对于实现鲁棒的迁移往往至关重要。我们观察到，来自不同域的相似空间图像在频谱表示上可能存在显著差异，低频和高频分别捕捉粗略和精细层次的语义信息。这表明，统一的空间适应可能忽略这些频谱差异，从而限制了泛化能力。为了解决这一问题，我们引入了频谱适应与分割（Frequency Adaptation and Diversion, FAD），这是一种频谱感知框架，明确建模和调整频谱成分。其核心是频谱分割适配器，该适配器使用离散傅里叶变换（DFT）将中间特征变换到频域，通过径向掩码将它们划分为低、中、高频带，然后使用逆傅里叶变换（IDFT）重建每个频带。然后，使用与频谱尺度相匹配的内核尺寸的专用卷积分支对每个频带进行调整，从而在频带上实现针对性和解耦的适应。在Meta-Dataset基准上的广泛实验表明，FAD在已见和未见域上均能稳定地优于当前最佳方法，验证了频域表示和带宽适应对于提高跨域少样本学习中的泛化能力的效用。
arXiv:2505.08345v1 类型: cross
摘要: 基于局部特征的解释是XAI工具箱中的关键组成部分。这些解释计算相对于“可解释”特征表示的特征重要性值。在表格数据中，特征值本身往往被视为可解释的。本文研究了数据工程选择对基于局部特征的解释的影响。我们证明，像用直方图表示年龄或以特定方式编码种族这样简单的、常见的数据工程技术，可以操控由受欢迎的方法（如SHAP）确定的特征重要性。值得注意的是，解释对特征表示的敏感性可能被对手利用来模糊诸如歧视之类的问题。尽管这些结果背后的直觉很简单，但其系统的探索一直不足。以前的工作主要集中在通过偏向数据或操控模型来进行特征解释的对抗攻击。就我们所知，这是首次证明标准、看似无害的数据工程技术可以误导解释器的研究。
arXiv:2505.08336v1 交叉公告类型：交叉学科
摘要：占用状态对供暖、通风和空调（HVAC）系统的能源消耗和运行具有重要影响。传统的HVAC系统通常基于固定的时间表运行，而不考虑占用状态。先进的以占用者为中心的控制（OCC）采用了占用状态来调节HVAC的操作。RGB图像结合计算机视觉（CV）技术广泛用于占用检测，然而，它们捕捉到的详细面部和身体特征引发了重大的隐私问题。低分辨率热图像提供了一种非侵入性的解决方案，可以缓解隐私问题。该研究开发了一个利用低分辨率热图像和计算机视觉技术的占用检测模型，其中应用了迁移学习对You Only Look Once版本5（YOLOv5）模型进行了微调。开发的模型最终实现了令人满意的表现，其精度、召回率、mAP50和mAP50值接近1.000。该模型的贡献不仅在于缓解隐私问题，还在于减少了计算资源需求。
arXiv:2505.08327v1 宣告类型: cross
摘要: 持续学习（CL）旨在训练模型能够在不忘记先前获得的知识的情况下学习一系列任务。CL 中的核心挑战是在保持对旧任务的性能（稳定性）和适应新任务（可塑性）之间取得平衡。最近，由于其同时支持这两方面的能力，大型预训练模型在CL中得到广泛应用，为其带来了在新任务中强大的一般化能力和防止遗忘的韧性。然而，在推断时其高计算成本限制了其在现实应用中的实用性，尤其是在需要低延迟或能效的应用中。为解决这一问题，我们探索了包括剪枝和知识蒸馏（KD）在内的模型压缩技术，并提出了两种针对类别增量学习（CIL）的高效框架，这是一种在推断时任务身份不可用的具有挑战性的CL设置。基于剪枝的框架包括预剪枝和后剪枝策略，在不同的训练阶段应用压缩。基于KD的框架采用教师-学生架构，其中大型预训练教师将与下游任务相关的重要知识传输给更紧凑的学生。在多个CIL基准上的大量实验表明，所提出框架在准确性和推理复杂性之间取得了更好的权衡，能够一致地优于强大的基线。我们进一步分析了这两种框架在准确性和效率方面的权衡，并为它们在不同场景中的使用提供了见解。
arXiv:2505.08325v1 宣告类型：交叉
摘要：遥感（RS）图像通常以史无前例的规模生成，但它们在地理上和机构上分布广泛，由于数据共享限制和隐私问题，中央模型训练颇具挑战性。联邦学习（FL）提供了一种解决方案，通过在去中心化的RS数据源之间进行协作模型训练而不暴露原始数据。然而，在RS中缺乏一个现实的联邦数据集和基准。先前的工作通常依赖于手动分割的单个数据集，未能捕捉到现实世界RS数据的异质性和规模，并且经常使用不一致的实验设置，阻碍了公平比较。为弥补这一差距，我们提出了一种现实的联邦RS数据集，称为FedRS。FedRS由涵盖各种传感器和分辨率的八个数据集组成，并构建了135个客户端，这代表了现实操作场景。每个客户端的数据来自同一来源，表现出真实的联邦属性，如标签分布偏差、客户端数据量失衡以及客户端之间的领域异质性。这些特征反映了联邦RS中实际面临的挑战，并支持对FL方法进行大规模评估。基于FedRS，我们实现了10种基线FL算法和评估指标，以构建全面的FedRS-Bench。实验结果表明，FL可以在孤立数据孤岛训练中一致地提高模型性能，同时在不同客户端异质性和可用性条件下揭示不同方法的性能权衡。我们希望FedRS-Bench可以通过提供标准化、丰富的测试环境并促进未来工作之间的公平比较，加速对大规模、现实FL在RS中的研究。源代码和数据集可在https://fedrs-bench.github.io/获得。
arXiv:2505.08319v1 型别: cross
摘要: 多智能体AI领域的一个主要瓶颈在于缺乏能够模拟在现实行为约束下社会结构自下而上 emergence 的模型。同样，许多经济学和 sociology 的基础理论，包括“制度”和“规范”等概念，往往在事后的描述中占主导地位，常常依赖于共享文化、道德或符号性协议的隐含假设。这些概念通常被视为原始概念，而不是从个体行为层面进行重构，从而使它们的起源和运作定义不够明确。为了解决这一问题，我们提出了一种三层自下而上的框架：互惠动力学，捕捉个体层面的互惠交换；规范稳定化，固化共享期望；制度构建，将稳定的模式外化为可扩展结构。通过将社会 emergence 根基于认知最小的互动，我们的框架使系统探究道德、文化和制度结构如何从认知最小的互动中涌现成为可能。