arXiv:2411.01419v2 宣布类型: replace-cross
摘要：时间序列预测仍然是各个领域中的一项关键挑战，往往受到高维数据和长期依赖性的复杂性的影响。本文提出了一种新的时间序列预测Transformer架构，包含两项创新：参数共享（PS）和空间-时间片段注意力（SegAtt）。我们还将时间序列片段定义为从不同变量相同位置处序列片段的连接。所提出的模型PSformer通过参数共享机制减少了训练参数的数量，从而提高了模型的效率和可扩展性。通过引入SegAtt，可以在片段上计算注意力来增强捕捉局部空间-时间依赖性的能力，并通过片段之间的整合提高全局表示能力。参数共享和SegAtt的结合显著提高了预测性能。在基准数据集上的广泛实验表明，PSformer在准确性和可扩展性方面优于流行的基线和其他基于Transformer的方法，确立了其作为时间序列预测准确且可扩展的工具的地位。
arXiv:2410.22944v3 更新类型: 交叉替换
摘要：尽管指令调优（IT）在训练大规模语言模型（LLMs）以执行任意用户指定的任务方面取得了成功，但这些模型仍然会利用从训练数据中学到的虚假或有偏见的特征，在新环境中部署时会出现不希望的行为。在本文中，我们引入了焦点指令调优（FIT），旨在训练LLMs使其在响应时聚焦于特定特征而忽略其他特征，从而根据指定的特征产生不同的行为。在几个实验设置中，我们展示了聚焦调优模型可以在推理时根据不同特征进行适应性引导：例如，通过聚焦于任务因果特征并忽略虚假特征可以提高稳健性，通过忽略人口统计类别可以减轻社会偏见。此外，FIT可以在新环境中引导行为，在分布转移下进行泛化，并在推理时应对新的未见过的特征，从而促进更稳健、更公平和更可控的大规模语言模型应用在现实环境中的部署。
arXiv:2410.20245v2 评价类型: replace-cross
摘要：今天，自然语言处理（NLP）面临的一个最具挑战性的问题是评估。最紧迫的一些问题涉及到基准饱和、数据污染，以及测试示例质量的多样性。为了解决这些问题，我们提出了Selection Methodology for Accurate, Reduced, and Targeted (SMART) 筛选方法，这是一种新颖的方法，通过系统地去除信息量少和挑战性低的示例，来从现有的基准数据集中选择高质量的子集。我们的方法应用了三个筛选标准，去除（i）简单的示例，（ii）数据污染的示例，以及（iii）在嵌入空间距离相近的示例。我们在三个多项选择问答数据集中展示了SMART的有效性，其中我们的方法通过将数据集大小平均减少48%，同时提高与ChatBot Arena（一个更具开放性的手工评估环境）排名的相关性，展示了其有效性。我们的方法使我们能够更加高效，无论是使用SMART使新基准更具挑战性，还是重振旧数据集，同时仍能保持模型排名的相对性。
arXiv:2410.15633v3 Announce Type: replace-cross
摘要：将大型语言模型调整为能够处理具有极长上下文的指令尚未得到充分研究。之前的研究所尝试通过合成长指令遵循样本来扩大可用数据量，因为构建此类数据集对注释员来说通常是具有挑战性的。然而，缺乏确保数据质量的明确策略可能会引入低质量样本并限制模型性能。因此，我们提出了GATEAU，这是一种新型框架，通过识别富含长范围依赖关系的影响样本来应对长上下文对齐的独特挑战。具体而言，GATEAU从两个基本方面测量长范围依赖关系：生成目标响应的难度，由于长范围依赖关系的存在；以及理解长输入的难度，同样由于这些依赖关系的存在。综合实验表明，GATEAU有效地识别了影响样本，利用这些精选样本训练的模型显示了更好的指令遵循能力和长上下文理解能力。
arXiv:2410.14615v2 Announce Type: replace-cross
摘要：本文解决了仅能访问未正则化的变更前后的分布时检测变化的问题。这种情况在物理学的许多场景中出现，如铁磁性、晶体学、磁流体动力学和热力学中，能量模型难以正则化。
我们的方法基于累积和（CUSUM）统计的估计，这种方法已知能产生最优性能。我们首先介绍了一种直观的近似方法。不幸的是，这种方法生成了带有偏见的CUSUM统计估计，并可能导致性能下降。然后，我们基于热力学积分（TI）提出了Log-Partition近似累积和（LPA-CUSUM）算法，以估计变更前后分布的正则化常数的对数比。证明了这种方法可以无偏估计对数分区函数和CUSUM统计，并由此导致渐近最优性能。此外，我们推导了热力学积分所需样本大小与期望检测延迟性能之间的关系，为实际参数选择提供指导。提供的数值研究表明了我们方法的有效性。
arXiv:2410.13919v2 宣告类型: replace-cross
摘要：由大型语言模型（LLM）代理驱动的攻击正成为现代网络安全日益严重的威胁。为应对这一关切，我们提出了LLM蜜罐系统，该系统旨在监控自主人工智能黑客代理。通过将提示注入和基于时间的分析技术增强标准的SSH蜜罐，我们的框架旨在在所有攻击者中区分LLM代理。在约三个月的公共环境部署试验中，我们收集了8,130,731次黑客攻击尝试和8个潜在的人工智能代理。我们的工作证明了人工智能驱动威胁的存在及其当前的使用水平，并为野生中的恶意LLM代理发出早期预警。
arXiv:2410.11287v2 宣告类型: replace-cross
摘要：过程奖励建模（PRM）对于那些中间步骤的准确性显著影响最终结果的复杂推理和决策任务至关重要。现有的PRM方法主要以分类问题的形式出现，使用交叉熵损失独立评估每个步骤的正确性。这种方法可能导致奖励分布不理想，并且没有充分解决步骤之间的相互依赖性。为了解决这些限制，我们引入了过程Q值模型（PQM），这是一种新的框架，重新定义了在马尔可夫决策过程背景下PRM。PQM基于一种新颖的比较损失函数优化Q值排名，增强了模型捕捉顺序决策之间复杂动态的能力。这种方法提供了更加精细且理论扎实的过程奖励建模方法。我们在不同采样策略、语言模型基础架构和多步推理基准上的广泛实证评估显示，PQM优于基于分类的PRM。比较损失函数的有效性在我们全面的消融研究中得到了突出体现，证实了PQM的实用性和理论优势。
arXiv:2410.10868v2 宣告类型: replace-cross
摘要：连续指令调优（CIT）被采用来连续地通过逐个数据点指导大型模型遵循人类意图数据。观察到现有梯度更新在CIT过程中会严重破坏先前数据集的表现。相反，指数移动平均（EMA）具有追踪之前参数的能力，这可以辅助减少遗忘。然而，稳定的平衡权重难以应对不断变化的数据集，导致可塑性和稳定性之间的失衡。在本文中，我们提出了一种通用的连续指令调优框架以应对这一挑战。从梯度更新的前提条件和EMA更新出发，我们提出了可塑性和稳定性的理想条件。基于损失函数的泰勒展开，我们发现最优平衡权重可以通过梯度和学习参数自动生成。因此，我们提出一个稳定-可塑性平衡系数以避免知识混淆。基于指令的语义相似性，我们可以确定是重新训练还是扩展训练参数，并为测试实例分配最合适的参数。在多个连续指令调优基准上的广泛实验表明，我们的方法不仅增强了抗遗忘能力，还显著提高了整体连续调优性能。例如，基于LLaVA-7B，遗忘率从5.42降低到1.93。我们的代码将很快公开。
arXiv:2410.09302v2 宣布类型: 替换交叉
摘要：强化学习（RL）在使大规模语言模型（LLMs）与人类偏好保持一致以及提高其执行复杂任务的能力方面发挥着至关重要的作用。然而，当前的方法要么由于使用了多个模型和广泛的在线采样进行训练而需要大量的计算资源（例如PPO），要么被构架为多臂老虎机问题（例如DPO、DRO），这些方法在多步推理任务，如数学问题解决和涉及长链条思考的复杂推理方面经常表现不佳。为了克服这些限制，我们引入了直接Q函数优化（DQO），将其响应生成过程构架为马尔可夫决策过程（MDP），并利用软 actor-critic (SAC) 架构直接优化由语言模型参数化的Q函数。DQO的MDP构架相比基于多臂老虎机的方法提供了结构上的优势，使其能够更有效地监督过程。在两个数学问题解决数据集GSM8K和MATH上的实验结果表明，DQO在性能上优于以往的方法，确立了其作为语言模型对齐领域的有前途的离线强化学习方法的地位。
arXiv:2410.08069v2 公告类型: replace-cross
摘要：基于梯度的解释通常需要一个比较的锚点，以避免在计算特征重要性时发生饱和。我们展示了当前使用静态函数定义的基线——常量映射、平均或模糊——注入了有害的颜色、纹理或频率假设，这些假设与模型行为相悖。这导致了不规则梯度的累积，从而使得归因图存在偏见、脆弱且可操控。我们离开了静态方法，提出了一种UNI方法，通过将输入向陡峭上升的逆向遗忘方向扰动来计算一个可学习、无偏且自适应的基线。我们的方法发现了可靠的基础线，并成功消除了显着特征，进而局部平滑了高曲率的决策边界。我们的分析表明，逆向遗忘可能是生成忠实、高效和鲁棒解释的一个有希望的途径。