arXiv:2505.06305v1 宣布类型: cross
摘要：随着大规模语言模型（LLMs）的广泛应用，用户隐私保护已成为一个重要的研究课题。现有的隐私偏好建模方法往往依赖大规模用户数据，使得在数据受限环境中进行有效的隐私偏好分析变得具有挑战性。本研究探讨了在数据有限的情景下如何利用LLMs分析与隐私保护相关的用户行为，并提出了一种结合少样本学习和隐私计算的方法来建模用户的隐私偏好。研究利用匿名用户隐私设置数据、调查响应和模拟数据，比较了传统建模方法与基于LLM的方法的性能。实验结果表明，即使在数据有限的情况下，LLMs也能显著提高隐私偏好建模的准确性。此外，结合差分隐私和联邦学习进一步降低了用户数据泄露的风险。研究结果为LLMs在隐私保护中的应用提供了新的见解，并为推进隐私计算和用户行为分析提供了理论支持。
arXiv:2505.06303v1 交叉类型公告
摘要：多模态信息提取（MIE）由于可以从多媒体来源中提取结构化信息而引起了关注。传统的做法是分别处理MIE任务，未能充分利用跨任务的知识共享机会。近期的方法通过使用基于指令的T5模型和视觉适配器将这些任务统一为一个生成问题，并通过全参数微调进行优化。然而，这种方法计算密集型，并且多任务微调常常面临梯度冲突，限制了性能。为解决这些挑战，我们提出了一种协作多-LoRA专家，结合成就导向的多任务损失（C-LoRAE）来处理MIE任务。C-LoRAE通过结合通用专家和特定任务专家扩展了低秩适应（LoRA）方法，通用专家从跨MIE任务中学习共享的多模态知识，特定任务专家则学习特定的指令任务特征。这种配置增强了模型在多个任务上的泛化能力，同时保持了各种指令任务的独立性，并减轻了梯度冲突。此外，我们提出了一种成就导向的多任务损失来平衡不同任务的训练进程，以解决由于MIE任务中训练样本数量不同而导致的不平衡。在三个关键MIE任务的七个基准数据集上的实验结果表明，C-LoRAE 在使用与LoRA相似数量的训练参数的情况下，实现了优于传统微调方法和LoRA方法的总体性能。
arXiv:2505.06302v1 宣告类型: cross
摘要: 计算密集型张量操作占大型语言模型（LLMs）和深度神经网络中计算的大约90%以上。自动并有效地利用硬件原语生成高性能张量操作对于不断发展的硬件架构（如RISC-V、ARM和GPU）至关重要，因为手动优化实现至少需要几个月时间，并且缺乏可移植性。LLMs 在生成高层次语言代码方面表现出色，但在充分理解硬件特性并生成高性能张量操作方面存在困难。我们引入了一个带有一行用户提示的张量操作自动生成框架（QiMeng-TensorOp），该框架使LLMs能够自动利用硬件特性，利用硬件原语生成张量操作，并在多种硬件上进行参数调优以实现最佳性能。在各种硬件平台、最先进的LLMs和典型张量操作上的实验结果表明，QiMeng-TensorOp 有效释放了各种硬件平台的计算能力，并自动生成了高性能的张量操作。与vanilla LLMs 相比，QiMeng-TensorOp 的性能提高了多达1291倍。即使与人类专家相比，QiMeng-TensorOp 也能在RISC-V CPU 上达到OpenBLAS的251%，在NVIDIA GPU 上达到cuBLAS的124%。此外，与人类专家相比，QiMeng-TensorOp 还将开发成本减少了200倍。
arXiv:2505.06301v1 通知类型: cross
摘要: 由于传感器放置、身体动态和行为模式的差异，跨用户的动作识别(HAR)固有的变异性仍然是一个关键挑战。传统方法往往无法捕捉到在用户之间持续存在的生物力学不变量，这限制了它们的泛化能力。我们提出了一种基于边缘增强的图神经网络(EEG-ADG)框架，将解剖相关性知识整合到统一的图神经网络(GNN)架构中。通过一起建模三种基于生物力学动机的关系——互联单元、类似单元和侧向单元——我们的方法在通过变分边缘特征提取器处理用户特定的变异性的同时，编码领域不变特征。梯度反转层(GRL)强制实施对抗域泛化，确保对未见过的用户的鲁棒性。在OPPORTUNITY和DSADS数据集上的广泛实验显示了最先进的性能。我们的工作通过将信息融合技术结合进来，将生物力学原理与基于图的对抗学习相结合。这种信息融合奠定了我们统一且泛化的跨用户HAR模型的基础。
arXiv:2505.06300v1 宣告类型: cross
摘要: 强化学习（RL）已经改变了序列决策的方式，但传统的算法如深度Q网络（DQNs）和近端策略优化（PPO）经常在动态环境中面临高效的探索、稳定性和适应性方面的挑战。本研究提出了ARDNS-FN-Quantum（自适应奖励驱动神经模拟器与量子增强），这是一种新颖的框架，将2量子比特量子电路集成用于动作选择，受人类认知启发的双记忆系统，以及由奖励波动和好奇心调节的自适应探索策略。ARDNS-FN-Quantum在10x10网格世界中进行了20,000个episode的评估，成功率达到99.5%（对比DQN的81.3%和PPO的97.0%），所有episode的平均奖励为9.0528（对比DQN的1.2941和PPO的7.6196），平均步数达到目标为46.7步（对比DQN的135.9和PPO的62.5）。在最后100个episode中，它记录的平均奖励为9.1652（对比DQN的7.0916和PPO的9.0310），平均步数达到目标为37.2步（对比DQN的52.7和PPO的53.4）。图形分析，包括学习曲线、到达目标的步骤趋势、奖励波动和奖励分布，展示了ARDNS-FN-Quantum的优越稳定性（所有episode的奖励波动5.424，对比DQN的252.262和PPO的76.583）和效率。通过将量子计算、认知科学和RL相结合，ARDNS-FN-Quantum提供了一种可扩展的、类人的适应学习方法，适用于不确定环境，在机器人、自主系统和不确定条件下的决策方面具有潜在的应用价值。
arXiv:2505.06299v1 威胁类型: 全局
摘要：随着脉冲神经网络（SNNs）在各种应用中越来越受欢迎，理解其安全漏洞变得越来越重要。在本文中，我们重点关注对抗攻击，这可能是最令人担忧的威胁之一。对抗攻击旨在找到一种微妙的输入扰动，以欺骗网络的决策。我们提出了两种针对SNNs的新型对抗攻击算法：一种是对特定数据集输入进行定制的攻击，能够生成针对性的对抗样本；另一种是通用攻击，可生成一个可重复使用的补丁，能够在大多数输入中引起分类错误，从而为实时部署提供了实际可行性。这些算法以脉冲域为基础利用梯度，证明在不同的评估指标，如对抗准确性、隐蔽性和生成时间方面都是有效的。在两个广泛使用的神经形态视觉数据集NMNIST和IBM DVS手势数据集上的实验结果表明，我们提出的攻击在所有指标上都优于现有最先进的方法。此外，我们首次在SHD数据集上展示了音频域中的对抗攻击生成。
arXiv:2505.06277v1 交叉类型: cross
摘要: 吉赫特高频（THz）通信是6G系统的关键使能技术，提供了超宽频带和前所未有的数据速率。然而，与较低频率的频段相比，THz信号传播因严重的自由空间路径损耗、极小的衍射和镜面反射以及显著的散射而大不相同，这使得传统的信道建模和基于导引的估计方法效率低下。在本工作中，我们研究了将无线电辐射场（RRF）框架应用于THz频段的可能性。该方法利用基于视觉的几何学和稀疏的THz RF测量来重建连续的RRF，从而在无需密集采样的情况下实现有效的空间信道状态信息（Spatial-CSI）建模。我们首先建立了一个精细模拟的THz场景，然后重建RRF并评估其重建质量以及在THz通信方面的效果，表明重建的RRF能够使用稀疏训练样本捕捉到关键的传播路径。我们的研究结果表明，RRF建模在THz频段仍能保持有效，并为未来6G网络中实现可扩展且低成本的空间信道重建提供了有前景的方向。
arXiv:2505.06275v1 宣告类型: cross
摘要: 飞秒级时间尺度的电子动力学分辨需要阿秒级条形展宽相位检索技术，但传统的算法依赖迭代最小化和中心动量近似，这些方法在宽带脉冲下会降低准确性。在这项工作中，相位检索被重新表述为监督计算机视觉问题，并系统地比较了四种神经网络架构。卷积网络对局部条形边缘表现出强烈的灵敏度，但缺乏全局上下文；视觉Transformer捕捉长程延迟-能量相关性，但以局部归纳偏置为代价；混合CNN-ViT模型结合了局部特征提取和全图注意力；而 capsules网络通过动态路由进一步强化了空间姿态一致性。理论分析引入了局部、全局和位置敏感性度量，并推导出代理误差界，预测严格的排序为 $CNN<ViT<Hybrid<Capsule$。在合成条形光谱图的受控实验中确认了这一层次结构，capsules网络实现了最高的检索保真度。展望未来，在物理导向的神经网络中嵌入强场积分和探索光子硬件实现为在苛刻实验条件下实时阿秒脉冲表征提供途径。
arXiv:2505.06274v1 宣布类型: 交叉
摘要: 多目标测试时对齐旨在在推理过程中根据多样化多维用户偏好自适应地调整大型语言模型（LLMs），同时保持LLMs冻结。最近，GenARM（Xu等人，2025）首次独立训练每个偏好维度的自回归奖励模型（ARMs），并且在训练时不相互感知，然后在推理过程中根据用户的偏好向量结合它们的输出，以实现多目标测试时对齐，导致两个关键限制：需要多个ARMs增加了推理成本，并且独立训练ARMs导致引导生成与用户偏好之间的不对齐。为了解决这些问题，我们提出了一种偏好感知ARM（PARM），这是一种在所有偏好维度上统一训练的单个ARM。PARM 使用我们提出的偏好感知双线性低秩适应（PBLoRA），该方法通过双线性形式使ARM有条件于偏好向量，使其能够在推理过程中实现对偏好权衡的精确控制。实验表明，与现有方法相比，PARM 减少了推理成本并且在偏好向量方面实现了更好的对齐。此外，PARM 允许弱到强的指导，使一个小的 PARM 能够引导一个较大且冻结的LLM而无需昂贵的训练，从而在有限的计算资源下实现多目标对齐。代码可以在 https://github.com/Baijiong-Lin/PARM。
arXiv:2505.06273v1 宣告类型: cross
摘要: 为了设计与人类目标相一致的奖励机制，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）已成为从人类偏好中学习奖励函数并利用强化学习算法优化策略的一种重要技术。然而，现有的RLHF方法往往错误地将轨迹视为由最优策略生成的，从而导致不准确的似然估计和劣质的学习效果。受到直接偏好优化框架的启发，该框架直接学习最优策略而无需显式奖励，我们提出了策略标记的偏好学习（PPL），通过使用遗憾来建模人类偏好，从而解决似然不匹配问题，遗憾反映了行为策略的信息。我们还提供了一种对比KL正则化，该正则化源自于基于遗憾的原则，以增强在序贯决策制定过程中RLHF的表现。在高维连续控制任务中的实验表明，PPL在离线RLHF性能方面取得了显著的改进，并且在在线设置中具有有效性。