arXiv:2411.15100v3 公告类型: 替换交叉
摘要：LLM代理的应用变得越来越复杂和多样化，这导致对结构化输出需求的增加，这些结构化输出可以解析为代码、结构化的函数调用和实体化代理命令。这些发展带来了对LLM推理中结构化生成的显著需求。上下文无关文法是一种通过受约束解码来实现结构化生成的灵活方法。然而，在运行时，执行上下文无关文法规则需要遍历词汇表中所有标记的多个堆状态，这在结构化生成中带来了不可忽略的开销。本文中，我们提出了XGrammar，这是一种灵活高效的大型语言模型结构生成引擎。XGrammar通过将词汇表分为不受上下文影响的标记和需要在运行时解释的受上下文影响的标记来加速上下文无关文法规则的执行。我们进一步构建了变换以扩展文法规则的上下文并减少不受上下文影响的标记的数量。此外，我们构建了一个高效的持久性堆栈以加速受上下文影响的标记检查。最后，我们与LLM推理引擎进行协同设计，以重叠语法计算与GPU执行。评价结果显示，XGrammar相对于现有解决方案可以实现高达100倍的加速。结合LLM推理引擎，它可以在端到端低LLM服务中实现接近零开销的结构化生成。
arXiv:2411.13280v3 宣告类型: replace-cross
摘要：结构导向的分子优化（SBMO）旨在同时优化具有连续坐标和离散类型的分子，以对抗蛋白质靶标。一个有前途的方向是向生成模型施加梯度指导，因为其在图像方面的出色表现，但指导离散数据并确保不同模态之间的一致性具有挑战性。为此，我们利用通过贝叶斯推理获得的连续性和可微性空间，提出了一种名为Molecule Joint Optimization（MolJO）的梯度导向SBMO框架，该框架可以同时在不同模态之间提供联合指导信号，同时保持SE(3)-不变性。我们引入了一种新颖的反向修正策略，该策略在过去的窗口历史中进行优化，允许在优化过程中无缝地权衡探索与利用之间的平衡。MolJO在CrossDocked2020基准测试中取得了最先进的性能（成功率为51.3%，Vina Dock -9.05和SA 0.78），与基于梯度的同类方法相比，成功率达到4倍以上的提升，在3D基线方面，“Me-Better”比率提高了2倍。此外，我们将MolJO扩展到多种优化设置中，包括多目标优化以及药物设计中具有挑战性的任务，如R-基团优化和骨架跳跃，进一步突显了其灵活性。
arXiv:2411.10285v2 Announce Type: replace-cross
摘要：在边缘设备上高效部署资源密集型变压器要求进行跨栈优化。因此，我们研究了结构化剪枝与系统阵列加速之间的相互关系，使剪枝后的块大小与系统阵列维度相匹配。在这种情况下，可以跳过剪枝权重块的计算，从而减少运行时间和能耗，但可能会对服务质量 (QoS) 产生影响。为了评估系统阵列大小与稀疏性机会之间的权衡，我们提出了一种新的联合设计框架，该框架结合了算法优化、系统仿真和硬件设计。针对使用变压器的例子研究言语识别和机器翻译，我们分析了跨堆栈配置选择对性能指标的影响。结果显示，在支持系统阵列加速的系统上进行结构化剪枝可以有效提高性能，同时保持高QoS水平。在标准LibriSpeech数据集上，仅由于结构化剪枝和量化导致词错误率下降了1.4%，实现了高达44%的系统级加速。
arXiv:2411.02316v5 通告类型: replace-cross
摘要：故事情节创作是人类想象力的基本方面，依赖于创造力来生成新颖、有效且令人惊讶的故事。虽然大型语言模型（LLMs）已经展现了生成高质量故事的能力，但它们的创造性故事创作能力仍然没有得到充分探索。在本文中，我们使用一个基于五句提示词的创造性故事创作任务，对60个LLMs和60个人进行系统分析，评估短篇故事生成的创造力。我们使用指标来自动评估模型生成和人类生成的故事在新颖性、惊奇感、多样性和语言复杂性等多个维度上的表现。我们还从非专家和专家人类评审员以及LLMs那里收集了创造力评估和图灵测试分类。自动指标显示，LLMs生成了风格复杂的故事，但在新颖性、惊奇感和多样性方面，通常不及平均水平的人类作家。专家评分通常与自动指标相符。然而，LLMs和非专家评审员认为LLMs的故事更具创造性，而专家评审员认为人类生成的故事更具创造性。我们讨论了这些评分差异的原因及其对人类和人工智能创造力的影响。
arXiv:2410.21000v3 通知类型: 替换-交叉
摘要：医疗视觉问答（MedVQA）在医学图像理解与自然语言处理的交叉领域中，由于其临床应用的特点，引起了越来越多的关注。通过解释医学图像并提供与相关临床问题精确的答案，MedVQA 有可能支持诊断决策，并减少诸如放射学等多个领域的工作负荷。尽管近期的方法主要依赖于统一的大规模预训练视觉-语言模型，但在这一领域对于更高效融合机制的研究仍然相对有限。在本文中，我们引入了一种融合模型OMniBAN，它结合了正交损失、多头注意力和双线性注意力网络，以实现高计算效率和良好的性能。我们进行了全面的实验，并展示了双线性注意力融合如何近似大型融合模型（如跨模态变换器）的表现。我们的结果显示，OMniBAN所需的参数 fewer 参数（大约为基于变换器的共注意机制的 2/3），且浮点运算次数（大约为 1/4）明显降低，同时在两个关键的 MedVQA 表基准测试中实现了相当甚至略有改进的整体性能和闭合问题。这种在效率与准确性之间的平衡表明，OMniBAN 可能是计算资源往往受限的真实世界医学图像问答问题的一个可行选项。
arXiv:2410.07250v2 通知类型: 替换-交叉
摘要：在高粒子多重性和严重重叠的簇射能量沉积下等极端操作条件下，经典粒子流算法在分辨率、效率和准确性方面遇到了明显的局限。为了解决这一挑战，本文提出并系统评估了一种深度学习重建框架：对于多通道稀疏特征，我们设计了一种结合加权均方误差和结构相似性指数的混合损失函数，有效地平衡了像素级准确性和结构保真度。通过将3D卷积、Squeeze-and-Excitation通道注意机制和偏移自注意力模块集成到基础卷积神经网络中，我们增强了模型捕获跨模态时空相关性和能量-位移非线性的能力。在自构建的模拟数据集和Pythia喷流数据集上验证，该框架的90K参数轻量级变体在性能上接近5M参数的基础模型，而25M参数的3D模型在插值和外推任务上均达到了最先进的结果。全面的实验定量评估了各个组件的贡献，并提供了性能与参数之间的权衡指南。所有核心代码和数据处理脚本均已开源在GitHub仓库中，以促进社区的再现和扩展。
arXiv:2410.05740v2 宣布类型：替换交叉
摘要：在赛车比赛中极端过弯通常会导致较大的侧滑角，这给车辆控制带来了重大挑战。传统的车辆控制器在处理这种情况时表现不佳，需要使用漂移控制器。然而，在漂移状态下较大的侧滑角会导致模型不匹配，进而影响控制精度。为了应对这一问题，我们提出了一种集成模型预测控制（MPC）和高斯过程回归（GPR）的模型校正漂移控制器。GPR 在漂移平衡求解和 MPC 优化过程中用于修正车辆模型不匹配。另外，GPR 的方差被用来积极探索不同的过弯漂移速度，以最小化轨迹跟踪误差。所提出的算法在 Simulink-Carsim 平台上通过仿真以及 1:10 等比例 RC 车辆的实验得到了验证。在仿真中，GPR 的引入使平均侧向误差减少了 52.8%，无 GPR 情况下这一误差减少了 27.1%。通过探索进一步减少了这一误差。轨迹跟踪均方根误差（RMSE）在探索引入后也减少了 10.6%。在 RC 车辆实验中，GPR 使平均侧向误差降低了 36.7%，进一步通过探索减少了 29.0%。轨迹跟踪 RMSE 在引入探索后减少了 7.2%。
arXiv:2410.03024v2 生成类型: replace-cross
摘要: 近年来，生成模型的发展，尤其是扩散模型，为时间序列建模开辟了新的方向，实现了最先进的预测和合成性能。然而，基于扩散的模型依赖于简单的固定先验，这使得生成过程复杂化，因为数据和先验分布差异显著。我们提出了TSFlow，这是一种结合了高斯过程、最优传输路径和数据依赖先验分布的条件流匹配(CFM)模型。通过引入(条件)高斯过程，TSFlow使先验分布更加符合数据的时序结构，从而增强了无条件和条件生成。此外，我们提出了条件先验采样，以便用无条件训练的模型进行概率性预测。在对八个真实世界数据集的实验评估中，我们展示了TSFlow的生成能力，产生了高质量的无条件样本。最后，我们证明了有条件训练和无条件训练的模型在多个预测基准测试中均取得了竞争力的结果。
arXiv:2410.01639v4 宣布类型：替换-交叉
摘要：基于预训练大型语言模型（LLMs）的决策代理在人类活动的各种领域中越来越被部署。虽然它们目前的应用相对专门化，但已有若干研究努力旨在开发更通用的代理。随着基于LLM的系统变得更具有自主性，它们对人类活动的影响将增加，透明度将降低。因此，开发有效的方法来使它们与人类价值观对齐至关重要。
目前流行的对齐做法通常依赖于人类偏好数据（例如，在RLHF或DPO中），在这种情况下，价值观是隐含的、不透明的，并且实际上是通过比较不同模型输出的相对偏好来推断的。在本研究中，我们没有依赖于人类反馈，而是引入了一种奖励函数的设计方法，其明确且透明地编码了核心的人类价值观，用于基于强化学习的底座代理模型微调。具体而言，我们使用内在奖励对LLM代理进行道德对齐。
我们通过传统的哲学框架——义务伦理学和功利主义，来评估我们的方法，量化代理在重复囚徒困境（IPD）环境中的道德奖励，包括行为和后果。我们还展示了道德微调如何被部署以使代理能够摒弃之前开发的自私策略。最后，我们发现，在IPD游戏中学习到的某些道德策略可以泛化到其他矩阵游戏环境。总之，我们证明，使用内在奖励进行微调是一种有前途的一般性解决方案，可以将LLM代理与人类价值观对齐，并且它可能代表了一种更透明且成本效益更高的替代当前主导的对齐技术。
arXiv:2410.01265v3 宣告类型: replace-cross
摘要: 我们探讨了变压器处理上下文内线性回归中的内生性的能力。我们的主要发现是，变压器天生具有使用工具变量 (IV) 有效处理内生性的机制。首先，我们展示了变压器架构可以模拟基于梯度的双层优化过程，并以指数速度收敛到广泛使用的两阶段最小二乘法 (2SLS) 解。接着，我们提出了一个上下文内预训练方案，并提供了理论保证，表明预训练损失的全局极小值实现了较小的超额损失。我们的大量实验验证了这些理论发现，表明训练后的变压器在存在内生性的情况下提供了比2SLS方法更稳健且可靠的上下文内预测和系数估计。