arXiv:2412.11050v2 宣告类型: replace-cross
摘要: 理解和解决corner cases对于确保自主驾驶系统的安全性和可靠性至关重要。视觉-语言模型(VLMs)在增强场景理解方面发挥着关键作用，但在关键驾驶场景中的性能受到诸如幻觉和现实世界锚定不足等重大挑战的影响。为了解决这些问题，本文提出了RAC3，一个旨在增强VLMs在corner case理解性能的新框架。RAC3集成了频率-空间融合(FSF)图像编码器、基于硬负样本和半硬负样本挖掘的跨模态对齐微调以及基于KMeans聚类和层次导航小型世界(HNSW)索引的快速查询管道。还引入了一种多模态推理链(CoT)提示策略，以引导类推推理并减少推理过程中的幻觉。此外，RAC3中集成了更新机制，以确保在框架内的持续学习。在CODA和NuScenes数据集上的大量实验表明，RAC3显著提高了多种下游任务中的corner case理解性能。与之前的先进方法相比，RAC3在CODA-LM基准上达到最高的最终得分为74.46，并且在与端到端框架如DriveLM集成时显示出一致的性能提升。这些结果证明了检索增强策略和跨模态对齐在实现更安全和更具解释性的自主驾驶方面的有效性。
arXiv:2412.10924v4 宣布类型: replace-cross
摘要：分词是当前许多语言模型，包括生成型人工智能（Generative AI）的大语言模型（LLMs）架构中的必要组成部分，但在模型的认知能力上却很少受到关注。我们认为，大语言模型展示了分布式假设（DH）足以实现合理的人类语言性能，而token化的出现及其当前的结构限制对人体语言意义单元的产生动机提出了挑战，特别是在分词作为（1）语义基元和（2）将人类语言中的显著分布模式传递给模型的载体方面。我们从基于BPE的分词器、从Hugging Face和tiktoken获取的现有模型词汇表，以及一款RoBERTa（大模型）的各层中展示的示例token向量中探索了这些分词方法。除了创建次优的语义构建块并阻碍模型对于必要分布模式的访问之外，我们描述了token和预训练如何成为偏见和其他不希望的内容的后门，而当前的对齐实践可能无法解决这一问题。此外，我们还提供了证据表明，分词算法的目标函数会影响大语言模型的认知能力，尽管这一点在理论上认为是有意义的且与主要系统智能隔绝的。[该论文于2024年12月首次上传至arXiv。]
arXiv:2412.10423v2 安全类型: 替换-交叉
摘要: 尽管大型语言模型（LLMs）配备了对齐机制，但它们在面临新兴的监狱逃脱攻击时变得越来越脆弱，这些攻击可以破坏其对齐机制。这种脆弱性对实际应用带来了重大风险。现有研究在训练效率和泛化能力（即从人类反馈的强化学习和红队测试）方面面临挑战。开发有效的策略以使LLMs能够抵御不断演变的监狱逃脱尝试，是一个重大挑战。为应对这一挑战，我们提出了一个新的防御范式，称为GuidelineLLM，它有助于LLMs识别可能包含有害内容的查询。在LLMs响应查询之前，GuidelineLLM首先识别查询可能关联的风险，并将这些风险总结为指南提示，然后将这些指南传递给响应的LLMs。重要的是，我们的方法消除了对LLMs自身的额外安全微调的必要性；只有GuidelineLLM需要微调。这一特性增强了GuidelineLLM在各种LLMs中的通用适用性。实验结果表明，GuidelineLLM可以显著降低针对LLMs的攻击成功率（ASR，平均降低34.17%的ASR），同时保持LLMs在处理良性查询方面的实用性。代码可在https://github.com/sqzhang-lazy/GuidelineLLM获得。
arXiv:2412.10209v2 Announce Type: replace-cross
摘要：我们提出了一种从智能手机等商品设备拍摄的一目视频中重建可动画化的3D高斯化身的新型方法。由于观察限制，从此类录制中重建逼真的3D头部化身极具挑战性，这会导致未观察到区域的约束不足，并在新视角中产生伪影。为了解决这个问题，我们引入了一种多视角头扩散模型，利用其先验知识来填充缺失区域，并确保Gaussian splatting渲染视图的一致性。为了实现精确的视角控制，我们使用基于FLAME的头部重建渲染的法线图，提供逐像素对齐的归纳偏置。我们还根据从输入图像中提取的VAE特征条件化扩散模型，以保留面部身份和外观细节。对于高斯化身的重建，我们通过使用逐次去噪的图像作为伪真实值来提炼多视角扩散先验，有效地缓解了色彩饱和过度的问题。为了进一步提高逼真度，我们在解码之前对去噪的潜在特征应用潜在上采样先验进行细化。我们使用NeRSemble数据集评估了我们的方法，结果显示GAF在新视角合成中表现优于现有最先进的方法。此外，我们还展示了从商品设备拍摄的一目视频中更高质量的化身重建。
arXiv:2412.07236v5 宣布类型: 替换交叉
摘要：脑电图（EEG）是一种无创技术，用于测量和记录脑电活动，广泛应用于各种BCI和医疗保健应用中。早期的EEG解码方法依赖于监督学习，受到特定任务和数据集的限制，阻碍了模型的性能和泛化能力。随着大型语言模型的成功，越来越多的研究开始关注EEG基础模型。然而，这些研究仍然存在一些挑战：首先，大多数现有的EEG基础模型采用全EEG建模策略。这种方法同时模型化所有EEG片段之间的空间和时间依赖性，但忽略了由于EEG信号的独特结构特征，空间和时间依赖性是异质的。其次，现有的EEG基础模型在广泛的下游BCI任务上具有有限的泛化能力，因为EEG数据具有不同的格式，使其难以适应。为了解决这些挑战，我们提出了一种新的基础模型CBraMod。具体而言，我们设计了一个交叉交叉变换器作为骨干，利用EEG信号的独特结构特征，通过两个并行的注意力机制分别建模空间和时间依赖性。我们还利用了一个非对称条件位置编码方案，可以编码EEG片段的位置信息，并且易于适应不同格式的EEG。CBraMod通过基于片段的掩码EEG重建进行预训练。我们在多达10个下游BCI任务（12个公开数据集）上对CBraMod进行了评估。CBraMod在广泛的任务中取得了最先进的性能，证明了其强大的能力和泛化能力。源代码可在https://github.com/wjq-learning/CBraMod公开获取。
arXiv:2412.03783v2 宣布类型: 替换-交叉
摘要：图在实际应用中无处不在，从社交网络到生物系统，它们激发了图神经网络（GNNs）的学习表示的研究。虽然大部分研究集中在静态图上，但许多现实场景涉及动态和时间演变的图，这促使了连续时间动态图（CTDG）模型的需求。本文对CTDG上的图表示学习（GRL）进行了全面回顾，重点是自我监督表示学习（SSRL）。我们引入了一个新的理论框架，通过信息流（IF）视角分析CTDG模型的表达能力，量化其传递和编码时间和结构信息的能力。利用这一框架，我们根据不同图类型和应用场景的适用性对现有的CTDG方法进行了分类。在同一范围内，我们检查了针对CTDG设计的自我监督学习方法，例如预测性和对比性方法，强调了这些方法减轻对标记数据依赖的潜力。通过对合成和实际数据集的实证评估验证了我们的理论见解，展示了各种方法在范围广泛的长距离、二分和社区基图中的优势和局限性。这项工作为选择和开发CTDG模型提供了理论基础和实用指导，促进了动态环境中图表示学习的理解。
arXiv:2412.03572v2 宣告类型: replace-cross
摘要：导航是具备视觉-运动能力的智能体的一项基本技能。我们引入了导航世界模型（NWM），这是一种基于过去观察和导航动作来预测未来视觉观察的可控视频生成模型。为了捕捉复杂环境动态，NWM 使用了一种在人类和机器人智能体的多样化第一人称视频上进行训练的条件扩散变换器（CDiT），并扩展到了十亿参数规模。在熟悉的环境中，NWM 可以通过模拟导航轨迹并评估其是否达到期望的目标来规划导航轨迹。与具有固定行为的监督导航策略不同，NWM 在规划过程中可以动态地整合约束条件。实验表明，NWM 在从头规划轨迹或通过对外部策略采样的轨迹进行排序来进行规划时，其效果显著。此外，NWM 利用其学习到的视觉先验，在单张输入图像的基础上想象在不熟悉环境中的导航轨迹，使其成为下一代导航系统的灵活且强大的工具。
arXiv:2412.03539v2 宣告类型: replace-cross
摘要：理解对抗样本对于改进模型的鲁棒性至关重要，因为对抗样本会给模型引入不可感知的扰动以欺骗模型。因此，有效的对抗样本为通过消除模型奇点来训练更鲁棒的模型提供了潜在机会。我们提出了NODE-AdvGAN，这是一种新颖的方法，将对抗生成视为一个连续的过程，并采用神经常微分方程（NODE）来模拟生成器的动力学。通过模仿传统梯度基方法的迭代性质，NODE-AdvGAN 生成了更平滑和更精确的扰动，这些扰动在添加到良性图像时保留了较高的感知相似性。我们还提出了一种新的训练策略 NODE-AdvGAN-T，在训练过程中调整噪声参数以增强黑盒攻击中的泛化能力。实验表明，NODE-AdvGAN 和 NODE-AdvGAN-T 生成了更有效的对抗样本，在保持更好的感知质量的同时，攻击成功率也高于基线模型。
arXiv:2411.15806v2 声明类型: replace-cross
摘要：在连续控制领域，深度强化学习（DRL）展示了令人鼓舞的结果。然而，DRL 对深度神经网络（DNN）的依赖导致了对大量数据和增加的计算成本的需求。为了解决这个问题，引入了一种新颖的混合演员-评论家强化学习（RL）框架。所提出的框架将广泛学习系统（BLS）与DNN结合起来，旨在融合这两种不同架构范式的优点。具体而言，评论家网络利用BLS通过岭回归快速进行价值估计，而演员网络保留DNN结构以优化策略梯度。这种混合设计是通用的，并能增强现有的演员-评论家算法。为了展示其 versatility，所提出的框架被集成到三种广泛使用的演员-评论家算法——深确定性策略梯度（DDPG）、软演员-评论家（SAC） 和 双延迟 DDPG（TD3） 中，从而产生 BLS 增强的变体。实验结果显示，所有 BLS 增强的版本在训练效率和准确性方面都超过了其原始版本。这些改进突显了所提出的框架在实时控制场景中的适用性，因为计算效率和快速适应性是关键因素。
arXiv:2411.11688v2 名称类型: replace-cross
摘要：扩散模型的个性化技术能够在生成特定概念的同时，也对版权保护和非法使用提出了挑战。模型水印化是一种有效的方法，可以防止以主题驱动或风格驱动的方式生成图像的未经授权使用，保护概念版权。然而，在概念导向的保护目标下，目前的水印方案通常会在所有图像上添加水印，而不是根据特定概念进行精细化的应用。此外，扩散模型的个性化技术很容易移除水印。现有的水印方法难以通过少量特定概念的图像实现细粒度的水印嵌入，并通过个性化微调防止水印的移除。因此，我们提出了一种新颖的概念导向水印框架，该框架无缝地将不可感知的水印嵌入到扩散模型的概念中。我们引入了保忠实性潜空间水印生成（FLW）以基于图像特性和潜空间生成水印，并引入了对抗水印调制模块以防止通过个性化微调进行“越狱”操作。为了提高U-Net在有限样本下学习水印模式的效率，我们提出了高效的概念导向水印微调，该方法交替优化模型参数，以进行水印嵌入和概念学习。我们进行了广泛的实验和消融研究来验证我们的框架。我们的代码可在https://anonymous.4open.science/r/Conceptwm-4EB3/获取。