arXiv:2502.12210v1 宣传类型: cross
摘要: 近年来，自然语言处理的最新进展显著提高了从非结构化文本中提取结构化语义表示的能力，特别是在框架语义角色标注（FSRL）方面。尽管取得了这些进展，但对于框架检测而言，检索增强生成（RAG）模型的潜力仍然未被充分探索。在本文中，我们提出了第一个基于RAG的框架检测方法，称为RCIF（检索候选并识别框架）。RCIF也是第一个无需显式目标跨度的方法，包括三个主要阶段：（1）从各种表示生成框架嵌入；（2）给定输入文本检索候选框架；以及（3）识别最合适的框架。我们在多种配置下进行了广泛的实验，包括零样本、少量样本和微调设置。我们的结果显示，我们的检索组件通过缩小搜索空间显著减少了任务的复杂性，从而使框架识别器能够细化和完善候选集。我们的方法在FrameNet 1.5和1.7上达到了最先进的性能，证明了它在仅提供原始文本的情况下具有稳健性。此外，我们利用通过此方法获得的结构化表示作为代理，增强了在将自然语言问题翻译成SPARQL查询任务中的泛化能力。
arXiv:2502.12209v1 宣告类型: cross
摘要: 深度神经网络（DNNs）在支持广泛的应用方面展现了强大的能力。Shapley 值已成为分析特征重要性的重要工具，帮助人们理解深度神经模型的推理过程。计算Shapley值函数需要选择一个基准来代表特征缺失的情况。然而，现有的随机和条件基准可能会负面影响解释。在本文中，通过对不同基准的亚最优性的分析，我们识别出问题基准，其中忠实有影响力的特征 \(\bm{x}'_i\) 和其他特征之间的不对称交互对模型输出具有显著的方向性偏见，并得出结论，\(p(y|\bm{x}'_i) = p(y)\) 可能最小化涉及 \(\bm{x}'_i\) 的不对称交互。我们进一步将 \(\bm{x}'_i\) 对标签空间 \(L\) 的无信息性一般化，以避免估计 \(p(y)\)，并设计一种基于不确定性的重新加权机制来加速计算过程。我们在各种自然语言处理任务上进行了实验，我们的定量分析证明了提出基于不确定性的重新加权机制的有效性。此外，通过测量解释方法生成的解释与人类测量的一致性，我们突显了模型推理与人类理解之间的差异。
arXiv:2502.12207v1 类型: cross
摘要: 深度神经网络在各种领域中表现出令人瞩目的性能。然而，它们容易受到对抗例子的影响，这可能导致错误的预测。生成对抗网络（GANs）可以利用生成器和判别器模型快速生成高质量的对抗例子。由于两个模块以竞争和同步的方式进行训练，基于GAN的算法如AdvGAN可以生成比传统方法更好的具有更强迁移性的对抗例子。然而，扰动的生成通常仅限于单个迭代，这妨碍了这些例子充分利用方法的潜在能力。为了解决这一问题，我们提出了一种新颖的方法，名为渐进自回归AdvGAN（PAR-AdvGAN）。该方法在渐进生成网络中引入了自回归迭代机制，以生成具有增强攻击能力的对抗例子。我们通过大规模实验彻底评估了我们的PAR-AdvGAN方法，展示了其在各种最先进的黑盒对抗攻击中表现更优，以及原始的AdvGAN方法的优势。此外，PAR-AdvGAN在对抗例子生成方面显著加速，例如，在Inception-v3模型上达到每秒335.5帧的速度，超过了基于梯度的可移植攻击算法。我们的代码可从以下链接获取：https://anonymous.4open.science/r/PAR-01BF/
arXiv:2502.12204v1 交叉类型：公告
摘要：自动抑郁检测为临床早期干预提供了线索。抑郁检测中的临床访谈涉及围绕多个主题的对话。现有研究主要设计了端到端的神经网络模型来捕捉临床访谈对话的层次结构。然而，这些方法在建模临床访谈的主题内容方面存在缺陷：1）它们未能明确捕捉主题内部和主题之间的相关性；2）它们不允许临床医生干预并关注感兴趣的主题。为了解决这些问题，本文引入了一种交互式抑郁检测框架。该框架利用上下文学习技术来识别临床访谈中的主题，然后建模主题内部和主题之间的相关性。此外，它采用基于AI的反馈来模拟临床医生的兴趣，从而使主题的重要性能够进行交互调整。PDIMC 在抑郁检测数据集 DAIC-WOZ 上相对于最新技术取得了绝对改善，分别为 35% 和 12%，这表明建模主题相关性并结合交互式外部反馈的有效性。
arXiv:2502.12203v1 类型: cross
摘要：机制设计一直是经济理论的基石，传统的做法依赖于数学推导。最近，自动化的方法，包括使用神经网络的差分经济学，已经出现，用于设计支付和分配。尽管分析和自动化的方法都推动了该领域的发展，二者都面临显著的弱点：数学推导无法自动化，并且通常难以扩展到复杂的问题，而自动化的，尤其是基于神经网络的方法，缺乏解释性。为了解决这些问题，我们提出了一种新的框架，将机制设计重新表述为代码生成任务。利用大型语言模型（LLMs），我们生成描述在代码中的启发式机制，并通过特定问题的校正过程在优化某些评估指标的同时确保关键设计标准（例如，策略不变性）的满足。这一校正过程确保任何违反设计标准的机制均被调整以满足它们，尽管在某些性能指标上有所妥协。这些妥协在基于LLM的进化过程中予以考虑。LLMs的代码生成能力使得可以发现新颖且可解释的解决方案，将机制设计的符号逻辑与现代AI的生成能力结合起来。通过严格的实验，我们证明，基于LLM生成的机制在性能上与以往方法相当，并且更具可解释性。值得注意的是，我们的框架能够重新发现现有的手动设计的机制，并通过例如编程-by-示例提供对基于神经网络解决方案的见解。这些结果突显了LLMs不仅能够自动化，而且能够增强机制设计的透明度和可扩展性，确保机制在社会中的安全部署。
arXiv:2502.12202v1 交叉公告类型: cross
摘要：更深入思考，更好表现：特别是类似o1的大型语言模型通过在推理过程中生成详尽的思考过程已经展现出了卓越的表现。这种权衡揭示了一个潜在的脆弱性：攻击者可以通过迫使模型立即响应而不进行思考过程来破坏模型的表现。为此，在本文中，我们提出了一种新的攻击场景，针对类似o1的模型的长思考过程，并提出了BoT（Break CoT），它可以通过后门攻击选择性地破坏内在的推理机制。BoT通过设计的触发器构造了被污染的数据集，并通过监督细调或直接偏好优化注入后门。当被触发时，模型直接生成答案而无需进行思考过程，同时对于干净的输入保持正常的推理能力。在开源o1-like模型上的广泛实验，包括最近的DeepSeek-R1，表明BoT几乎实现了高攻击成功率，同时保持了干净的准确性，突显了当前模型的安全风险。此外，任务难度与帮助性的关系揭示了一个潜在的应用可能性，使用户能够根据任务复杂度自定义模型行为。代码可在 https://github.com/zihao-ai/BoT 获取。
arXiv:2502.12200v1 异常类型: cross
摘要: 提示调优（PT）为大规模预训练语言模型（PLMs）的精细调优提供了一种成本效益高的替代方案，只需要在输入文本之前添加少量的软提示令牌参数。然而，现有的PT方法面临两个显著的问题：(i) 它们忽略了软提示令牌之间的内在语义关联，导致高离散性和有限的互动，从而降低了模型在复杂任务中的理解和有效性。(ii) 由于下游任务的复杂性，需要较长的软提示来提高性能，但提示长度与内存使用和计算成本呈正相关。实现高效性和性能仍然是一个持续的挑战。为了解决这些问题，我们提出了一种新颖的低参数提示调优（LAMP）方法，该方法利用了提示分解和压缩外积。具体来说，提示分解模块采用截断SVD来减少训练参数，并显著降低软提示参数空间的维度。然后，它利用压缩外积模块来促进提示令牌之间的多种互动，探索它们的内在关联以增强知识表示。最后，LAMP使用平均池化来减少内存使用和训练/推理时间。在六种架构和八个数据集上的广泛实验表明，LAMP在性能和效率方面均优于最先进的PT基方法和LoRA基方法。
arXiv:2502.12198v1 类别: cross
摘要: 基于扩散的规划、学习和控制方法为强大的和表达性决策解决方案提供了一个有前途的分支。鉴于对这些方法的兴趣日益增长，它们在过去几年中经历了大量的改进。然而，尽管取得了这些进展，现有的方法在决策过程中关于通用的奖励最大化方法的研究仍然有限。在本文中，我们研究了用于控制应用的微调方法的扩展。具体而言，我们探索了四种微调方法的扩展及其各种设计选择：通过强化学习进行奖励对齐、直接偏好优化、监督微调以及级联扩散。我们将优化它们的使用，以便将这些独立的努力融入一个统一的范式中。我们展示了这些提议在离线 RL 设置中的用途，并在一系列控制任务中展示其实证改进。
arXiv:2502.12197v1 公告类型：交叉学科
摘要：系统提示在指定聊天和代理设置中LLM行为方面已成为一个关键的控制面。开发人员依赖系统提示来指定重要的上下文、输出格式、个性、护栏、内容政策和安全对策，所有这些都需要模型在面对冲突或对抗性用户输入时能够坚定地遵循系统提示。实际上，模型常常忽略了相关的护栏，或者无法解决系统和用户之间相互冲突的需求。在这项工作中，我们通过基于从OpenAI的GPT Store和HuggingFace的HuggingChat收集的提示来创建现实的新评估和微调数据集，研究了提高系统提示稳健性的各种方法。我们的实验评估新和现有基准模型表明，使用现实的微调数据以及推理时的干预措施（例如无分类器引导）可以显著提高性能。最后，我们分析了OpenAI和DeepSeek最近发布的推理模型的结果，这些结果显示了在我们研究的基准测试上令人兴奋但不均衡的进步。总体而言，当前的技术尚不能确保系统提示的稳健性，因此还需要进一步的研究。
arXiv:2502.12193v1 Announce Type: cross
摘要：使用ChatGPT分析和分类刑事诉讼中的证据已成为一个持续讨论的话题。然而，据我们所知，这个问题在波兰语环境中尚未被研究。本研究通过评估ChatGPT在分类符合波兰刑法的法律案件方面的有效性来填补这一研究空白。结果显示，ChatGPT在二分类中的准确率达到非常高的水平，所有正例和负例都被正确分类。此外，定性评估还证实，为每一例案件提供的法律依据以及相关的法律内容都是恰当的。研究结果表明，ChatGPT可以有效地分析和分类证据，同时应用适当的法律规则。总之，ChatGPT有可能辅助相关方进行证据分析，并为这一领域缺乏经验或知识的人士提供有价值的法律资源。