arXiv:2504.01902v1 交叉引用类型: cross
摘要: 在社交媒体对话中检测辱骂语言带来了巨大的挑战，因为识别辱骂性往往依赖于对话背景，这由先前评论的内容和拓扑结构所表征。传统的辱骂语言检测（ALD）模型常常忽视这种背景，这会导致不可靠的性能指标。近年来，整合对话背景的自然语言处理（NLP）方法往往依赖于有限且简化的表示形式，并报告不一致的结果。在本文中，我们提出了一种新颖的方法，利用图神经网络（GNNs）将社交媒体对话建模为图，其中节点代表评论，边捕捉回复结构。我们系统地研究了各种图表示和上下文窗口，以确定ALD的最佳配置。我们的GNN模型优于不分上下文的基线模型和线性上下文感知方法，在F1分数上取得了显著的提升。这些发现表明结构化的对话背景在检测中至关重要，并验证了GNNs作为推进上下文感知侮辱语言检测稳健框架的有效性。
arXiv:2504.01901v1 交叉公告类型
摘要：大型多模态模型（LMMs）在2D图像和视频上的迅速发展促进了对3D场景解释的模型适应努力。然而，缺乏大规模的3D视觉-语言数据集构成了一个重大障碍。为了解决这一问题，典型的方法集中在通过设计3D输入级场景表示将3D意识注入2D LMMs中。本文提供了新的视角。我们提出了具有3D意识的重建视觉指令微调（Ross3D），将3D意识的视觉监督集成到训练过程中。具体而言，它整合了跨视图和全局视图重建。前者要求通过从其他视图聚合重叠信息来重建遮蔽视图。后者旨在从所有可用视图中聚合信息以恢复鸟瞰图图像，从而为整个场景提供全面的概览。从实证上讲，Ross3D在各种3D场景理解基准测试中达到了最先进的性能。更重要的是，我们的半监督实验展示了在利用大量未标记的3D视觉仅数据方面巨大的潜力。
arXiv:2504.01888v1 交叉类型: cross
摘要：随着康复下肢外骨骼技术（RLEEX）的迅速发展，人类-机器人交互（HRI）方法取得了显著进步。这些方法包括传统容易识别的身体接触型HRI方法和多种基于生物电信号的HRI方法，能够可视化和预测动作。然而，这些HRI方法大多基于接触，面临着操作复杂性高、对外部干扰敏感、植入设备相关的风险以及最重要的舒适性受限等挑战。这些挑战使得交互不够直观和自然，可能对患者康复的积极性产生负面影响。为了应对这些问题，本文提出了一种基于RGB单目相机深度估计的新型非接触手势交互控制方法，用于RLEEX。该方法结合了三个关键步骤：检测关键点、识别手势和评估距离，从而通过手势信息和增强现实触发技术控制RLEEX的步态运动。结果表明，该方法为RLEEX平台的HRI在舒适性差、可靠性低和高延迟等问题上提供了一个可行的解决方案。具体而言，通过非接触HRI实现了94.11%的手势控制外骨骼运动准确率和平均系统响应时间为0.615秒。提出的非接触HRI方法代表了RLEEX控制交互领域的一项开创性进展，为该领域进一步探索和开发奠定了基础。
arXiv:2504.01871v1 强化学习类型: 横向研究
摘要: 我们首次提供了无模型强化学习代理能够学习规划的机制证据。这是通过在 Sokoban 这一常用于研究规划的基准测试中应用基于概念可解释性的方法来实现的——Sokoban 是一个广泛使用的规划研究基准。具体来说，我们展示了 Guez 等人 (2019) 引入的通用无模型代理 DRC 使用学习的概念表示来内部制定计划，这些计划不仅能预测操作对环境的长期影响，还能影响操作选择。我们的方法包括：(1) 探测与规划相关的概念，(2) 探讨代理表示中的计划形成，以及 (3) 通过干预验证代理表示中发现的计划对代理行为的因果影响。我们还展示了这些计划的出现与代理出现类似规划的属性——利用额外的测试时计算能力的能力——相吻合。最后，我们对代理学习到的规划算法进行了定性分析，并发现其与并行双向搜索有强烈相似之处。我们的发现促进了对代理内部机制中规划行为的理解，鉴于最近的语言模型通过强化学习出现的规划和推理能力增强的趋势，这一点尤为重要。
arXiv:2504.01866v1 交叉公告类型: cross
摘要: 大规模软件开发的快速步伐对传统的测试方法提出了日益增长的要求，经常导致效率、准确性和覆盖率上的瓶颈。我们从一个新的角度提出了软件测试，认为错误检测与代码中引入更少错误是两个相互关联的问题，它们共享一个目标：在有限的资源下减少错误。我们扩展了我们之前关于AI辅助编程的工作，该工作支持代码自动补齐和聊天机器人驱动的问答，将其应用到软件测试领域。我们引入了Copilot for Testing，这是一种自动化测试系统，可以同步错误检测与代码库更新，利用基于上下文的检索增强生成（RAG）来增强大型语言模型（LLMs）的能力。我们的评估表明，错误检测准确性提高了31.2%，关键测试覆盖率提高了12.6%，用户接受率提高了10.5%，突显了基于AI的技术在现代软件开发实践中的变革潜力。
arXiv:2504.01857v1 交叉类型公告
摘要：链式思考(CoT)已成为增强大型语言模型(LLMs)推理能力的关键机制，自我一致性在提升性能方面展现出显著的潜力。然而，多语言训练语料库中固有的语言偏见经常导致语义漂移和逻辑不一致，尤其是在处理复杂推理任务的不到10B参数的LLMs中。为克服这些限制，我们提出了一种创新的推理框架——跨语言一致性(CLC)框架。该框架通过多语言推理路径的多数投票来整合多语言推理路径，以提升LLMs的推理能力。在CMATH数据集上的实证评估表明，与传统的自我一致性方法相比，CLC在DeepSeek-Math-7B-Instruct、Qwen2.5-Math-7B-Instruct和Gemma2-9B-Instruct上分别实现了9.5%、6.5%和6.0%的绝对准确率提升。将CLC的语言范围扩展到11种不同的语言具有两方面的协同效益：1) 通过多语言集成投票消除多语言训练语料库中的语言偏见；2) 通过探索更广泛的多语言解决方案空间，避免单调语言推理陷阱。这种双重效益实证上使GLobally最优的推理路径与使用Gemma2-9B-Instruct在MGSM数据集上所获得的4.1%-18.5%的准确率提升相比显得更为优越。
arXiv:2504.01855v1 公告类型: cross
摘要: 随机扩散模型（DPMs）虽然在生成高质量样本方面非常有效，但由于它们的迭代采样过程，往往面临计算成本高的问题。为了解决这一问题，我们提出了一种受Richardson外推法启发的增强型基于ODE的采样方法，以减少数值误差并提高收敛率。我们的方法RX-DPM利用DPM在中间时间步的多个ODE解来外推去噪预测。这种方法显著提高了最终样本估计的准确性，同时保持了函数评估次数（NFEs）。与标准的Richardson外推法不同，后者假设时间网格的均匀离散，我们开发了一种更通用的公式，适用于任意时间步调度，指导思想是基于基线采样方法推导出的局部截断误差。我们方法的简洁性使得在不显著增加计算开销的情况下可以准确估计数值解，并且可以无缝且方便地集成到各种DPM和求解器中。此外，RX-DPM提供了显式的误差估计，有效地展示了随着主要误差项阶数的增加，收敛速度加快的现象。通过一系列实验，我们证明了所提出的方法在不需要额外采样迭代的情况下提高了生成样本的质量。
arXiv:2504.01850v1 宣告类型：交叉
摘要：如今，开发人员越来越依赖由大型语言模型（LLM）驱动的解决方案来协助其编码任务。这使得有必要将这些工具与人类价值观对齐，以防止恶意误用。在本文中，我们提出了一种全面的框架，用于评估大型语言模型在软件工程领域的潜在危害性。我们首先开发了一种潜在有害的软件工程场景分类法，随后基于此分类法创建了一组样本提示集。为了系统地评估响应，我们设计并验证了一个自动评估器，该评估器可以对各种LLM（无论是开源模型还是闭源模型，以及通用型和代码特定型的LLM）的输出进行分类。此外，我们还调查了模型大小、架构家族和对齐策略对生成有害内容倾向的影响。结果表明，各种LLM在无害性对齐方面存在显著差异。我们发现，一些模型和模型家族，如Openhermes，比其他模型更具危害性，而代码特定模型的表现并不优于其通用模型。值得注意的是，一些微调模型由于设计选择，其表现显著差于其基础模型。另一方面，我们发现较大的模型更倾向于提供帮助，并且较少可能提供有害信息。这些结果突出了针对软件工程任务独特挑战的定位对齐策略的重要性，并为这一关键领域的未来工作奠定了基础。
arXiv:2504.01833v1 评价类型：交叉
摘要：有效地评估大型语言模型（LLMs）仍然是一个关键瓶颈，因为传统的静态基准会受到饱和和污染的影响，而人工评估则成本高且耗时。这妨碍了及时或特定领域的评估，这对实际应用至关重要。我们提出了YourBench，这是一种新颖的开源框架，通过从用户提供的文档中直接生成免费、动态、自动化的可靠、与时俱进和领域定制化基准，来解决这些限制。我们通过使用最少的源文本复制7个不同的MMLU子集，已实现总推理成本低于15美元，同时完全保持了原始基准中观察到的模型性能排名（Spearman Rho = 1）。为了确保YourBench生成的数据基于提供的输入，而非依赖模型中的后验参数知识，我们还引入了Tempora-0325，这是一个包含超过7000个多样文档的新型数据集，专门在2025年3月之后发布。我们全面分析了来自7个主要家族中26个最先进模型（参数规模从3亿到6710亿不等）的数据，以通过严格的算法检查（例如，引文定位）和人工评估验证生成的评估的质量。我们发布了YourBench库、Tempora-0325数据集、基于Tempora的15万多个问答对以及所有评估和推理痕迹，以促进可重现研究，并使社区能够按需生成定制基准，从而促进更相关和值得信赖的LLM评估。
arXiv:2504.01819v1 Announce Type: cross
摘要：文本到图像扩散模型（T2I DMs）的普及使得人工智能生成的图像在日常生活中越来越常见。然而，带有偏见的T2I模型可能会生成具有特定倾向的内容，可能会影响人们的感知。有意利用这些偏见可能会向公众传达误导性信息。当前关于偏见的研究主要集中在具有可识别视觉标志的显性偏见上，如肤色和性别。本文介绍了一种新的隐式偏见形式，它缺乏明确的视觉特征，但在不同的语义上下文中可以以多种方式表现。这种微妙且多变的性质使得这种偏见难以检测，易于传播，并且能够适用于广泛的场景。我们进一步提出了一种针对T2I扩散模型的隐式偏见注入攻击框架（IBI-Attacks），通过在提示嵌入空间预先计算一个通用的偏见方向，并根据不同的输入进行适当的调整。我们的攻击模块可以无缝集成到预训练的扩散模型中，无需直接操作用户输入或重新训练模型。广泛的实验验证了我们的方案通过细微和多样的修改引入偏见的有效性，同时保留了原始语义。我们攻击在各种场景中的强大隐蔽性和可转移性进一步强调了我们方法的重要性。代码可在https://github.com/Hannah1102/IBI-attacks获取。