arXiv:2410.13211v2 宣告类型: replace-cross
摘要: 我们考虑低概率估计的问题：给定一个机器学习模型和一个形式化指定的输入分布，如何估计模型输出的二元属性的概率，即使这种概率太小而无法通过随机采样来估计？这个问题是由分布变化可能会使其在最坏情况下的性能变得更加常见而引发的需求推动的。我们研究了从小型变压器语言模型进行 argmax 采样的低概率估计问题。我们比较了两种类型的方法：重要性采样，涉及寻找导致罕见输出的输入；以及激活外推，涉及外推与模型的logits相匹配的概率分布。我们发现，重要性采样优于激活外推，但两者都优于简单的随机采样。最后，我们解释了将对不希望出现的行为的概率估计最小化如何推广了对抗性训练，并认为需要新的低概率估计方法来提供更强的最坏情况性能保证。
arXiv:2410.13106v3 宣告类型: replace-cross
摘要：大型神经网络在预测任务中表现出色，但在应用于设计问题，如蛋白质工程或材料发现时，需要解决离线模型导向优化（MBO）问题。虽然预测模型可能不能直接转化为有效的设计，但最近的MBO算法结合了强化学习和生成建模方法。同时，理论工作表明，利用目标函数的结构可以增强MBO性能。我们提出了Cliqueformer，这是一种基于转换器的架构，它通过功能性图形模型（FGM）学习黑盒函数的结构，无需依赖显式的保守方法来解决分布偏移问题。在化学和遗传设计任务等多个领域，Cliqueformer在与现有方法的比较中表现出更出色的性能。
arXiv:2410.08847v3 宣告类型: 替换-交叉
摘要：直接偏好优化（DPO）及其变体越来越多地用于对齐语言模型与人类偏好。尽管这些方法旨在使模型生成更倾向于优选响应而不是不优选响应，但先前的工作观察到，在训练过程中，优选响应的可能性往往会下降。当前的工作揭示了这一反直观现象的原因及其影响，我们将其称为概率位移。我们展示了概率位移可能具有灾难性的影响，从优选响应转移到具有相反含义的响应。作为简单的例子，训练模型将 $\texttt{No}$ 优先于 $\texttt{Never}$ 可能会显著增加 $\texttt{Yes}$ 的概率。此外，当我们对齐模型以拒绝不安全的提示时，我们展示了这种位移可能会无意中导致对齐失效，从优选的拒绝响应转移到有害响应（例如，将 Llama-3-8B-Instruct 的拒绝率从 74.4% 降低到 33.4%）。理论上，我们证明了概率位移是由类似嵌入的偏好驱动的，这些嵌入以中心隐藏嵌入相似度（CHES）分数进行测量。在经验上，CHES 分数能够识别出在给定数据集中哪些训练样本对概率位移的贡献最大。过滤掉这些样本有效地减轻了我们在实验中的无意对齐失效。更广泛地说，我们的结果突显了在数据中纳入足够不同的偏好以进行对齐的重要性，我们相信 CHES 分数在此方面可能会很有价值。
arXiv:2410.08001v3 宣布类型: 替换-交叉
摘要：随着对能够在多样化和动态环境中操作的多功能机器人系统的市场需求不断增加，通用策略的重要性日益突出。通用策略通过利用广泛的跨体态数据集来促进广泛的适应性和高级推理。然而，通用策略在推理过程中效率低下，且训练成本高昂。相反，专业策略针对特定领域数据进行了精曲，擅长任务级别的精确性且效率高。然而，它缺乏广泛的适应能力。受到这些观察的启发，我们提出了RoboDual，这是一种协同的双系统，可以在通用策略和专业策略的优点之间进行补充。基于扩散变换器的专业策略用于多步动作快照，基于视觉-语言-行动（VLA）的通用策略进行高级任务理解和离散动作输出的精细条件。与OpenVLA相比，RoboDual在现实环境中实现了26.7%的改进，并且通过引入一个仅有2000万可训练参数的专业策略，在CALVIN上实现了12%的收益。RoboDual仅使用5%的演示数据就能保持强劲的表现，并在实际部署中实现了3.8倍更高的控制频率。代码将公开发布。我们的项目页面托管在：https://opendrivelab.com/RoboDual/
arXiv:2410.05584v4 宣布类型: replace-cross
摘要: 奖励模型 (RMs) 对于使语言模型与人类偏好保持一致至关重要。目前，对 RMs 的评估依赖于测量其与手动标注偏好的验证集的准确性。尽管这种方法简单且广泛采用，但 RMs 的准确性与其下游策略性能之间的关系仍是一个未充分探索的领域。在本工作中，我们在一个合成环境中进行实验，以探讨准确性差异如何转化为优化策略性能的差距。我们的发现表明，在准确性相近的 RMs 优化下，优化策略的性能可能存在显著差异。此外，我们发现测量准确性的方法显著影响其预测最终策略性能的能力。在回归型Goodhart效应的角度下，我们认识到，当使用准确性来衡量 RM 质量时，可能会未能充分捕捉到 RM 过度优化的潜在风险。这强调了仅依赖准确性来反映其对策略优化影响的不足之处。
arXiv:2410.01866v2 宣布类型: 替换-交叉
摘要：大规模激活，表现为隐藏状态中特定特征维度中的特征，会在大规模语言模型（LLMs）中引入显著的偏差，导致对相应标记的过度重视。在本文中，我们发现大规模激活并非来源于隐藏状态本身，而是来源于早期层中前馈网络模块的中间状态。在此前观察到大规模激活仅出现在特定特征维度的基础上，我们深入研究了导致大规模激活的权重。具体来说，我们将导致中间状态中前k大幅度维度的权重定义为前k 大权重。当这些大规模权重被设置为零时，会导致大规模语言模型的功能完全中断。然而，当除了大规模权重外的所有权重被设置为零时，性能下降相对较小，尽管设置为零的权重数量更多。这表明，在预训练过程中，学习主要集中在大规模权重上。基于这一观察，我们提出了一种简单的即插即用方法——MacDrop（大规模权重课程dropout），以便在参数高效微调过程中较少依赖大规模权重。该方法对预训练的大规模权重应用dropout，初始dropout概率较高，并随着微调的进行逐渐降低。通过包括零样本下游任务、长上下文任务和消融研究在内的各种实验，我们证明了MacDrop通常可以改进性能并增强鲁棒性。
arXiv:2409.14495v3 宣布类型: replace-cross
摘要：逻辑阅读理解是一项具有挑战性的任务，它涉及到理解文本的基本语义并应用推理以推导出正确的答案。以往的研究主要集中在通过链式思考（CoT）或数据增强来提高逻辑推理能力。然而，先前构建链式思考理由的工作主要集中在分析正确选项，而忽视了错误选项。此外，早期通过改变上下文进行数据增强的努力依赖于基于规则的方法，这导致生成的上下文缺乏多样性和连贯性。为了解决这些问题，我们提出了一种前提导向的数据增强（PODA）框架。该框架可以生成包括正确和错误选项分析的链式思考理由，同时从错误候选选项中构建多样性和高质量的反事实上下文。我们将摘要前提和识别前提整合到理由中。随后，我们使用带有识别前提的多步骤提示来构建反事实上下文。为了使模型更好地区分与每个选项相关的推理过程，我们引入了一种新颖的思考路径对比学习方法，该方法比较了原始样本和反事实样本之间的推理路径。在三个代表性语言模型上的实验结果表明，我们的方法可以在两个具有挑战性的逻辑推理基准（ReClor和LogiQA 2.0）上显着改进基线。数据和代码已发布在 https://github.com/lalalamdbf/TPReasoner。
arXiv:2409.12964v2 宣告类型: 交叉替换
摘要：下一代无线接入网络（RAN），称为开放RAN（Open RAN），预计将具备一种适用于无线蜂窝网络的AI原生接口，包括新兴的卫星-地面系统，从而使深度学习成为其操作的核心部分。在本文中，我们探讨了开放RAN中联合子载波和功率分配的非凸优化挑战，目标是在确保用户满足传输数据速率要求的同时，最小化总功率消耗。我们提出了一种名为OpenRANet的优化深度学习模型，该模型结合了机器学习技术和迭代优化算法。我们首先通过解耦、变量变换和松弛技术将原始的非凸问题转换为凸子问题。然后，我们使用标准干扰函数框架内的迭代方法高效地解决这些子问题，从而能够推导出原始-对偶解。这些解决方案无缝地集成到OpenRANet中的凸优化层中，通过结合机器学习和凸分析技术，增强了约束遵守性、解的准确性以及计算效率，如数值实验所示。OpenRANet还为设计资源受限的AI原生无线优化策略奠定了基础，适用于多小区系统、卫星-地面网络以及复杂功率消耗要求的未来开放RAN部署等更广泛的场景。
arXiv:2409.09281v2 宣告类型: replace-cross
摘要：我们探讨了语言模型的预训练动态，重点关注它们从先前上下文中复制文本的能力——这是一种对各种大型语言模型（LLM）应用至关重要的基本技能，包括上下文学习（ICL）和检索增强生成（RAG）。我们提出了一种新的视角，即基于变换器的语言模型在发展复制能力方面的过程与“通透”（g grokking）相似，“通透”指的是模型在训练集拟合后很长时间在测试集上突然表现出泛化能力。我们的实验得出三个论点：(1) 预训练损失快速下降，而模型最初在上下文复制能力方面落后，随后突然饱和。(2) 发展复制能力的速度与训练的标记数量无关，类似于在保持数据分布的前提下，数据集大小不影响“通透”速度。(3) 负责复制的注意力头，从训练初期浅层到深层逐渐形成，在训练过程中与“通透”过程中更深层电路的发展相呼应。我们认为，将“通透”与上下文复制之间的联系视为有效的语言模型训练提供有价值的见解，最终提高上下文学习性能。例如，我们证明了增强“通透”的技术，如正则化，要么加速，要么增强上下文复制的发展。
arXiv:2409.03404v2 宣告类型: 替换-交叉
摘要：现有的低光图像增强方法难以适应正常和低光图像之间复杂的非线性关系，这主要是由于光照不均匀和噪声效应的影响。最近提出的柯尔莫戈罗夫-阿诺德网络（KANs）具有基于样条的卷积层和可学习的激活函数，可以有效地捕捉非线性依赖关系。在本文中，我们基于KANs设计了一个KAN-Block，并创新地将其应用于低光图像增强。该方法有效缓解了当前方法受限于线性网络结构和缺乏可解释性的限制，进一步展示了KANs在低级视觉任务中的潜力。鉴于当前低光图像增强方法感知能力较差且逆扩散过程具有随机性，我们进一步引入了频域感知，以实现视觉导向的增强。大量的实验表明，我们的方法在基准数据集上的性能具有竞争力。代码将在以下链接提供：https://github.com/AXNing/KSID}{https://github.com/AXNing/KSID。