arXiv:2502.13527v1 安全类型：跨域
摘要：大规模语言模型（LLMs）的应用带来了显著的应用，但也引入了严重的安全威胁，尤其是来自操纵输出生成的越狱攻击。这些攻击利用提示工程和logit操纵，使模型偏向有害内容，促使LLM提供商实施过滤和安全性对齐策略。我们研究了LLMs的安全机制及其近期应用，揭示了一种新的威胁模型，针对结构化输出接口，允许攻击者在LLM生成过程中操纵内部logit，仅需API访问权限。为了展示这一威胁模型，我们引入了一个名为AttackPrefixTree（APT）的黑盒攻击框架。APT利用结构化输出接口动态构建攻击模式。通过利用模型的安全拒绝响应前缀和潜在有害输出，APT有效地绕过了安全性措施。在基准数据集上的实验表明，该方法的攻击成功率高于现有方法。这项工作突显了LLM提供商需要增强安全协议以解决由安全模式与结构化输出交互引发的漏洞的紧迫需求。
arXiv:2502.13524v1 交叉类型: cross
摘要: 三维(3D)医学图像的有效评估对于医疗保健中的诊断和治疗实践至关重要。近年来，深度学习和计算机视觉在分析和解释医学图像方面得到了广泛应用。传统的方法，如卷积神经网络(CNNs)和视觉变换器(ViT)，面临着显著的计算挑战，从而推动了架构改进的需求。最近的努力导致引入了诸如“Mamba”模型等新型架构，作为传统CNNs或ViTs的替代方案。Mamba模型在低计算需求下对一维数据进行线性处理表现出色。然而，Mamba在三维医学图像分析方面的潜力尚未充分探索，随着维度的增加，可能会面临显著的计算挑战。本文介绍了MobileViM，一种用于高效分割3D医学图像的精简架构。在MobileViM网络中，我们发明了一种新的维度无关机制和双向遍历方法，与基于Vi-Mamba的框架相结合。MobileViM还采用了一种跨尺度桥接技术，以提高各种医学成像模态的效率和准确性。通过这些增强功能，MobileViM在单个图形处理单元(如NVIDIA RTX 4090)上实现了超过90帧每秒(FPS)的分割速度。这一性能比同等计算资源下现有的最先进的深度学习模型快24 FPS以上。此外，实验评估表明，MobileViM在PENGWIN、BraTS2024、ATLAS和Toothfairy2数据集上的Dice相似度分数分别达到92.72%、86.69%、80.46%和77.43%，显著优于现有模型。
arXiv:2502.13519v1 宣布类型: cross
摘要：双学习技术在现实世界的控制场景中，如机器人技术中已被证明非常有效。然而，这些方法不仅面临着累积误差的问题，而且还需要人类专家提供完整的路径。虽然存在一些交互式方法，其中专家监督机器人并在需要时介入，但这些扩展通常仅利用干预期间收集的数据，而忽视了非干预时间步中存在的反馈信号。在这项工作中，我们创建了一个模型来阐明在这种情况下干预是如何发生的，并展示了只需少量专家干预即可学习策略的可能性。我们的关键见解是，无论是否存在干预，都可以从专家反馈中获取有关当前状态质量以及所选动作的最优性的重要信息。我们使用各种离散和连续仿真的环境、实际的机器人操作任务以及人类被试研究评估了我们的方法。相关视频和代码可在 https://liralab.usc.edu/mile 查看。
arXiv:2502.13509v1 Announce Type: 跨模态
摘要：大型语言模型（LLMs）在视觉-语言任务中展现了卓越的表现，但在医疗领域的应用仍鲜有探索，特别是在将结构化时间序列数据与非结构化临床笔记整合方面。在临床实践中，实验室测试结果等动态时间序列数据捕捉到关键的时间模式，而临床笔记提供丰富的语义上下文。由于连续信号和离散文本之间的固有差异，将这些模态结合起来具有挑战性。为了弥合这一差距，我们提出了ProMedTS，这是一种新颖的自监督跨模态框架，采用了提示引导学习来统一这些异质数据类型。我们的方法利用轻量级的异常检测生成异常说明，作为提示，引导原始时间序列数据编码为信息性的嵌入。这些嵌入在共享的潜在空间中与文本表示对齐，保留了精细的时间细微差别和语义见解。此外，我们的框架还整合了定制的自监督目标，以增强跨模态的对齐。我们使用真实世界的数据集在疾病诊断任务上评估ProMedTS，实验结果表明，我们的方法在所有方面都优于现有最先进的方法。
arXiv:2502.13502v1 类型：交叉
摘要：我们展示了具有幂律解码表示的大语言模型（PLDR-LLM）是一种基础模型，其演绎输出在小扰动范围内是不变张量。PLDR-LLM 学习了演绎输出的奇异性条件，使得在推理时，用于生成演绎输出的幂律图注意力（PLGA）的深层神经网络能够被一个名为 $\mathbf{G}_{LM}$ 的能量曲率张量所取代。我们证明了可以通过简单的实现 $\mathbf{G}_{LM}$ 缓存（G-cache）和 KV 缓存来提高推理时间。在缓存后，演绎输出的不变性和通用性在极高的保真度上保持不变，RMSE 和行列式值在 15 位小数位上相同，零-shot 基准得分未发生变化。消融研究显示，学习得到的演绎输出从使用传输、随机初始化或恒等张量作为常数张量算子预训练的模型具有不同的损失和准确率特征。带有标度点积注意（SDPA）的 LLM 是 PLDR-LLM 的一种特殊情况，其中 $\mathbf{G}_{LM}$ 预定义为恒等矩阵。观察到的不变性特征在训练和推理阶段之间引入了一种新的不对称性，并且在缓存的情况下保持一致。我们列出了学习得到的奇异性条件下演绎输出的常见特征。我们提供了一个带有 KV 缓存和 G 缓存的 PLDR-LLM 的训练和推理框架的实现。
arXiv:2502.13499v1 类型：交叉
摘要：最近的研究强调了由大规模语言模型（LLM）生成的内容在各种有害行为方面的风险，包括错误和有害的代码。本文在此基础上进一步研究LLM生成的网页设计中是否包含暗模式。本研究评估了四个流行LLM（Claude、GPT、Gemini和Llama）生成的电商平台网页组件的设计。我们测试了13种常用电商平台组件（例如，搜索、产品评价），并将它们作为提示以生成总数为312个组件的各类模型。超过三分之一生成的组件至少包含一个暗模式元素。大多数暗模式策略涉及隐藏关键信息、限制用户的操作，并利用紧迫感促使他们做出决定。更为频繁地，在与公司利益相关的一些组件中产生了暗模式。这些发现强调了在使用LLM进行前端代码生成时需要防止暗模式的干预，并突显了扩展伦理设计教育给更广泛受众的重要性。
arXiv:2502.13497v1 生成类型：跨学科
摘要：生成型大型语言模型（LLMs）在全球范围内被证明在多样的文化知识方面存在差距。我们研究了检索增强生成和搜索 grounding 技术对语言模型显示不同民族文化的熟悉程度的能力的影响。具体而言，我们比较了标准 LLMs、使用定制知识库增强检索（即 KB grounding）的 LLMs 和使用网络搜索增强检索（即搜索 grounding）的 LLMs 在一系列文化熟悉度基准测试上的性能。我们发现，对于测试命题知识（例如，国家文化的规范、器物和机构）的选择题基准测试，搜索 grounding 显著提高了 LLM 的性能，而 KB grounding 的效果受限于知识库覆盖不足和检索器的次优表现。然而，搜索 grounding 也会增加语言模型产生刻板印象判断的风险，而在具有充足统计能力的人类评价中，未能改善评估者对文化熟悉程度的判断。这些结果突出了在评估生成型 LLMs 的文化熟悉度时命题知识与开放性文化流畅度之间的区别。
arXiv:2502.13490v1 类别：交叉学科
摘要：大型语言模型（LLM）系统遭受模型生成有效且事实性内容的不稳定能力的影响，导致产生了幻觉生成问题。当前的幻觉检测方法高度依赖于模型外部的信息来源，如RAG以协助检测，从而带来了额外的严重延迟。近期，在推理过程中LLM内部状态的使用在大量研究工作中得到了广泛应用，例如提示注入检测等。考虑到LLM内部状态的可解释性以及它们不需要外部信息来源的事实，我们引入了这些状态来进行LLM的幻觉检测。在本文中，我们系统地分析了推理过程中原内部状态的不同揭示特征，并全面评估了它们在幻觉检测中的能力。具体而言，我们将大型语言模型的前向过程分为三个阶段：理解、查询、生成，并从这些阶段中提取内部状态。通过对这些状态的分析，我们对幻觉内容是如何生成以及模型内部状态发生了什么提供了深入的理解。然后，我们将这些内部状态引入到幻觉检测中，并进行全面的实验来讨论其优缺点。
arXiv:2502.13487v1 交叉公告类型：跨领域
摘要：大规模的视觉-语言模型（LVLMs）在各种多模态任务中表现卓越。然而，它们评估生成内容的能力仍然有限，使用偏好数据训练视觉-语言奖励模型（VLRMs）在计算上非常昂贵。本文探讨了一种无需训练的替代方案，通过将基于文本的奖励模型（RMs）与LVLMs合并来创建VLRMs。我们的方法表明，将这些模型集成在一起能够在LVLMs的评分和基于文本的RMs的基础上显著提升性能，提供了一种有效地将文本偏好融入LVLMs的方法。
arXiv:2502.13480v1 自动并行策略搜索框架类型：跨领域
摘要：在本文中，我们介绍了用于异构GPU的高效且节省成本的自动并行策略搜索框架：Astra。首先，Astra 在 GPU 配置搜索空间（GPU 类型和 GPU 数量）以及并行参数搜索空间中搜索效率最优的并行策略。然后，Astra 通过数学建模异构训练的时间消耗，提供了在异构 GPU 上的解决方案。最后，Astra 是第一个提出在节省成本方面自动并行策略搜索的方法。实验结果表明，Astra 可以实现比专家设计策略更好的吞吐量。在单 GPU 设置下，Astra 的搜索时间成本可以限制在 1.27 秒以内；在异构 GPU 设置下，平均时间成本少于 1.35 分钟，且准确率超过 95%。