arXiv:2503.02080v2 宣告类型：替换-交叉
摘要：大规模语言模型（LLMs）展示了生成反映不同主观人类观点的文本的能力。本文研究了LLMs在其他政治观点中在美国政治中反映出更自由或更保守观点的方式。我们表明，LLMs在激活空间中具有政治观点的线性表示，其中更相似的观点在空间中更接近。为此，我们探究了三个开源的基于Transformer的语言模型（Llama-2-7b-chat、Mistral-7b-instruct、Vicuna-7b）的注意力头。首先，我们提示模型从不同美国立法者的角度生成文本。然后，我们确定一组注意力头，其激活可以线性地预测这些立法者的DW-NOMINATE分数，这是一种广泛使用和验证的政治意识形态衡量标准。我们发现，高度预测的头主要位于中间层，通常被认为编码高层次的概念和任务。使用仅训练用于预测立法者意识形态的探测器，我们展示了这些探测器可以从提示模型模拟特定新闻机构文本的激活中预测这些新闻机构倾向的量度。这些线性探测器使我们能够可视化、解释和监控LLM在生成开放式响应时暗含的政治立场。最后，我们通过应用到这些注意力头的线性干预，展示了可以引导模型输出朝向更自由或更保守的立场。总体而言，我们的研究建议LLMs具有美国政治意识形态的高层次线性表示，并且通过利用最近在机械可解释性方面的进展，我们可以识别、监控和引导生成文本背后的观点。
arXiv:2502.19537v3 通告类型: replace-cross
摘要：像OpenAI和Google这样的领先语言模型(LM)提供商提供了微调接口，允许客户将LM适应特定的应用场景。为了防止滥用，这些LM提供商实现了一些过滤机制来阻止有害的微调数据。因此，试图通过这些接口生成不安全LM的攻击者必须构造无法识别为有害的恶意训练数据。在此背景下，我们做出了三项贡献：1. 我们表明，许多现有的攻击方法依赖于消除模型在其响应的前几个词中的拒绝回应，从而创建不安全的LM。2. 我们表明，可以通过一个简单的防御措施来阻止这些先前的攻击，该措施在允许微调模型填充剩余内容之前，使用对齐模型填充前几个词。3. 我们描述了一种新的数据中毒攻击，“No, Of course I Can Execute”（NOICE），它利用LM的公式化拒绝机制来诱使产生有害的回应。通过训练LM在确保安全之前拒绝正当请求，即使在满足这些请求的情况下，我们能够突破几种开源模型和一个闭源模型（GPT-4o）。我们对GPT-4o的攻击成功率(ASR)达到了57%；我们的攻击赢得了OpenAI的漏洞赏金。针对受简单防御措施保护的开源模型，我们将ASR平均提高了3.25倍，这比之前的仅使用无害数据的最佳攻击要好。NOICE展示了重复拒绝机制的可利用性，并扩展了对无害数据可能给闭源模型带来的威胁的理解。
arXiv:2502.17725v2 宣告类型: replace-cross
摘要: 我们研究了新兴的光子和量子计算架构在解决旅行商问题（TSP）中的应用，这是一个广为人知的NP难优化问题。我们调查了几种方法：模拟退火（SA）、在量子退火器和光学相干薛定谔机上实施的二次无约束二元优化（QUBO-Ising）方法，以及基于门的量子计算机上的量子近似优化算法（QAOA）和量子相位估计算法（QPE）。QAOA和QPE在IBM Quantum平台上进行了测试。QUBO-Ising方法使用了D-Wave量子退火器，该退火器基于超导约瑟夫森 Junction，以及Quantum Computing Inc（QCi）的Dirac-1熵量子优化机。基于门的量子计算机在模拟中对小型TSP实例表现出准确的结果。然而，实际的量子设备受到噪声和有限扩展性的限制。电路复杂度随着问题规模的增加而增加，限制了性能只适用于最大具有6个节点的TSP实例。相比之下，基于Ising架构的系统在处理更大规模问题时显示出更好的可扩展性。基于SQUID的Ising机器可以处理到12个节点的TSP实例，而在混合光电子部件中实现的熵计算则将这一能力扩展到18个节点。然而，由于硬件限制和随着问题规模的增加难以实现基态收敛，解决方案往往会变得次优。尽管存在这些限制，Ising机器在时间上的优势使其成为一个在高效解决更大规模TSP问题方面具有前景的候选者。
arXiv:2502.13909v3 宣布类型: replace-cross
摘要: 大型语言模型（LLMs）由于其先进的文本理解能力和上下文感知能力，最近成为推荐系统的一个有前景的工具。尽管目前的实践是在序列推荐场景中训练和评估基于LLM的推荐（LLM4Rec）模型，但我们发现，现有模型是否完全捕捉了用户项目交互序列中固有的序列信息目前很大程度上被忽略了。在这篇论文中，我们首先通过一系列实验证明，现有的LLM4Rec模型在训练和推理过程中并未完全捕捉到序列信息。然后，我们提出了一种简单而有效的基于LLM的序列推荐方法，称为LLM-SRec，这种方法通过从预训练的CF-SRec模型中提炼用户表示并将其集成到LLM中，增强序列信息的整合。我们的大量实验表明，LLM-SRec增强了LLM理解和捕捉用户项目交互序列的能力，从而最终提高了推荐性能。此外，与现有需要对LLM进行微调的LLM4Rec模型不同，LLM-SRec仅通过训练几个轻量级的MLP就能达到最先进的性能，突显了其在实际应用中的实用性。我们的代码可在https://github.com/Sein-Kim/LLM-SRec获取。
arXiv:2502.11897v2 宣告类型: replace-cross
摘要: 在本文中，我们提出了动态潜在帧率VAE (DLFR-VAE)，这是一种无需训练的范例，可以在潜在空间中利用适应性时间压缩。现有的视频生成模型通过预训练的VAE应用固定的压缩率，但我们发现现实世界的视频内容表现出显著的时间非均匀性，高运动段包含比静止场景更多的信息。基于这一认识，DLFR-VAE 根据内容复杂性动态调整潜在帧率。具体来说，DLFR-VAE 包含两项核心创新：(1) 动态潜在帧率调度器，将视频划分为时间片段，并基于信息理论的内容复杂性自适应地确定最优帧率；(2) 一种无需训练的自适应机制，可以将预训练的VAE架构转换为可以处理可变帧率特征的动态VAE。我们的简单而有效的DLFR-VAE 可作为插即拔模块运行，无缝集成到现有的视频生成模型中，并加速视频生成过程。
arXiv:2502.07531v3 宣布类型: replace-cross
摘要：近期的图像到视频生成方法在控制一个或两个视觉元素方面取得了成功，例如相机运动或物体运动。然而，由于数据和网络有效性方面的限制，这些方法无法同时控制多个视觉元素。在本文中，我们介绍了VidCRAFT3，这是一种新颖的框架，可以同时控制相机运动、物体运动和光照方向。VidCRAFT3整合了三个核心组件：Image2Cloud从参考图像生成3D点云；ObjMotionNet使用多尺度光学流特征编码稀疏物体轨迹；Spatial Triple-Attention Transformer通过并行交叉注意力模块整合光照方向嵌入。此外，我们还引入了VideoLightingDirection数据集，提供了具有准确逐帧光照方向注释的合成且具现实感的视频片段，有效缓解了标注的真实世界数据集的缺乏问题。我们进一步采用了三阶段训练策略，确保即使在没有联合多元素注释的情况下也能进行稳健的学习。广泛的实验表明，VidCRAFT3生成了高质量的视频内容，在控制粒度和视觉连贯性方面优于现有最先进的方法。代码和数据将公开提供。
arXiv:2501.14622v3 宣告类型: replace-cross
摘要：在模仿学习(IL)中，学习有效的决策制定策略表示是一项挑战。当前的IL方法需要专家演示，而收集这些演示往往成本高昂。因此，它们往往世界模型发展不足。自我监督学习(SSL)提供了一种替代方案，允许模型从多样化的未标记数据中学习，包括失败案例。然而，SSL方法通常在原始输入空间中操作，使其效率低下。在这项工作中，我们提出了一种名为ACT-JEPA的新架构，该架构将IL和SSL结合起来以增强策略表示。我们训练一个策略来预测（1）动作序列和（2）抽象观察序列。第一个目标通过动作分块来提高动作预测性能并减少累积误差。第二个目标扩展了这一思想，通过预测抽象观察序列来实现。我们利用联合嵌入预测架构在抽象表示空间中进行预测，使模型能够过滤掉不相关细节，提高效率，并开发出稳健的世界模型。我们的实验表明，ACT-JEPA通过学习时序环境动态提高了表示的质量。此外，模型预测抽象观察序列的能力导致了能够有效泛化到动作序列预测的表示。ACT-JEPA在一系列决策任务中与现有的基准方法表现相当。
arXiv:2501.11218v2 通知类型: 取代交叉
摘要：活动外观模型（AAMs）是一种成熟的图像中可变形模型拟合技术，但它们受到线性外观假设的限制，并且在应对复杂变化时可能会遇到困难。在本文中，我们探索了是否可以通过生成对抗网络（GAN）来改进AAM拟合过程。我们使用基于U-Net的生成器和PatchGAN判别器构建GAN增强框架，在拟合过程中尝试细化外观模型。这种方法试图解决传统AAM优化方法可能无法处理的非线性外观变化和遮挡等挑战。有限的面部对齐数据集实验结果显示，GAN增强的AAM在某些手动干预下可以实现比经典方法更高的准确性和更快的收敛速度。这些结果表明GAN作为一种工具，在保持高效性能的同时改善可变形模型拟合是有可行性的，同时也证明了未来需要更多大规模的工作来评估这一方法的性能。
arXiv:2501.09929v3 报告类型: replace-cross
摘要：对大型语言模型（LLM）行为的有效和可靠控制是一项重大挑战。尽管添加引导向量到模型隐藏状态的激活引导方法是一种有前景的方法，但现有技术往往在影响模型输出方面缺乏精确性和可解释性。我们介绍了特征导向的激活添加（FGAA），这是一种利用对比激活添加（CAA）和稀疏自动编码器目标引导（SAE-TS）见解的新激活引导方法。FGAA在稀疏自动编码器（SAE）的潜在空间中操作，并使用优化技术选择所需的SAE特征，从而构建精确的引导向量，这些向量在保持导向模型输出连贯性的同时提供更好的引导效果。在这方面，对Gemma-2-2B和Gemma-2-9B模型在各种引导任务上的评估表明，FGAA在现有的CAA引导方法、SAE解码器引导和SAE-TS引导方法中表现出更优的效果。我们的结果还强调了在所有测试的引导方法中都存在的引导规模与通用模型能力之间的重要权衡。
arXiv:2501.00953v2 宣告类型: replace-cross
摘要：赋予机器人说话能力的努力得益于自然语言处理领域的最新进展，特别是大型语言模型的进步。然而，目前的语言模型尚未完全实现增量处理，因为它们的处理本质上是单调的，因此缺乏在新观察结果出现时修订其解释或输出的能力。这种单调性对人类-机器人交互对话系统的开发具有重要意义。在这篇论文中，我们回顾了以增量方式（即在单词级别或更低级别）运行的交互系统文献。我们阐述了需要增量系统的理由，概述了对对话中重要方面（如语音识别和语言生成）的增量建模。重点是系统中做出决策的部分，即对话管理器。我们发现关于增量对话管理的研究非常少，提出了关于实际增量对话管理的一些要求，并探讨了在大型语言模型时代，增量对话如何影响具身的、机器人的平台。