arXiv:2406.01882v2 宣告类型: 交叉替换
摘要: 作为旨在模拟真实交互并诱骗未经授权实体的战略性网络欺骗机制，蜜罐在灵活性、交互深度和欺骗性方面常常难以兼顾。传统蜜罐通常难以适应不断演变的攻击者战术，缺乏互动和信息收集。幸运的是，大型语言模型的新兴能力和创新的提示工程方法为蜜罐技术带来了变革性转变。本文介绍了一种基于ChatGPT的先驱蜜罐架构——HoneyGPT，其特点在于成本效益和积极互动。特别是，我们提出了一种结构化的提示工程框架，结合思维链策略以提升长期记忆和稳健的安全分析，从而增强欺骗性和互动性。HoneyGPT的评估包括基于收集的数据集的基线比较和三个月的现场评估。基线比较显示，HoneyGPT在灵活性、交互深度和欺骗能力之间表现出卓越的平衡能力。现场评估进一步证明了HoneyGPT在更深层次地吸引攻击者并捕获更多新颖攻击向量方面具有优越的性能。
arXiv:2405.20582v2 宣布类型: replace-cross
摘要：负面患者描述和污名化语言可以通过两种方式加剧医疗保健不平等：(1) 当患者阅读这些描述时，它们会损害他们对医疗机构的信任和参与度；(2) 当医生阅读时，它们可能会对未来的患者产生负面影响。在精神科中，患者-临床医生治疗联盟是临床结果的主要决定因素。因此，精神科临床记录中的语言使用不仅可能创造医疗保健不平等，也可能维持这些不平等现象。最近的自然语言处理(NLP)系统进展促进了在医疗保健中检测歧视性语言的努力。然而，此类尝试仅关注医疗机构及其医生的观点。考虑医生和非医生的观点是识别临床记录中潜在有害语言的一个更具普适性的方法。通过利用预训练和大型语言模型(PLMs和LLMs)，本研究旨在通过基于读者视角识别描述患者句子所表达的情感，来表征精神科记录中的潜在有害语言使用。从 Mount Sinai 医疗系统中提取了包含精神科词汇的 39 个句子，对三个 PLM（RoBERTa、GatorTron 和 GatorTron + 任务适应）进行了微调，并为三个 LLM（GPT-3.5、Llama-3.1 和 Mistral）实现了零样本和少量样本 ICL 方法，以根据医生或非医生的观点对句子的情感进行分类。结果显示，GPT-3.5 最符合医生的观点，而 Mistral 最符合非医生的观点。这些结果强调了识别读者观点的重要性，不仅是为了改进笔记写作过程，也是为了在计算系统下游分析中衡量、识别和减少偏差。
arXiv:2405.17139v2 宣告类型: replace-cross
摘要：对比语言-图像预训练（CLIP）作为一种图像表示学习的突出方法脱颖而出。包括视觉变换器（ViTs）和卷积网络（ResNets）在内的各种架构都使用CLIP进行训练，以作为解决各种视觉任务的一般解决方案。本文探讨了各种CLIP训练的视觉基座之间的差异。尽管使用相同的数据和训练目标，我们发现这些架构具有显著不同的表示、不同的跨数据集的分类性能以及对某些类型图像扰动的不同鲁棒性。我们的研究结果表明，通过利用各自的优势，架构之间可能存在显著的协同效应。原则上，通过明智地选择每个测试示例的最佳基座，分类准确率可以提高超过40个百分点。基于这一洞察，我们开发了一种简单而强大的方法，以自适应地组合多个基座。该方法仅使用每个类别的一个带标签的示例来调整基座的自适应组合。在一系列大量数据集上，该方法在最好的单一基座上的准确率提高了高达39.1%，远超传统组合方法。
arXiv:2405.15756v3 通知类型: 替换-交叉
摘要：解开多义神经元是目前许多大型语言模型可解释性方法的核心。在这里，我们试图研究解纠缠如何用于理解性能，特别是在密集权重化，这是一种主流的后训练优化技术。我们提出了一种新的衡量神经元纠缠的新方法：神经元输出分布与高斯分布的瓦尔登距离。此外，我们展示了每个LLM线性层中存在少量高度纠缠的“瓦尔登神经元”，这些神经元的输出分布高度非高斯，它们在映射相似输入到不同输出方面发挥着作用，并对模型准确性产生显著影响。为研究这些现象，我们提出了一种新的实验框架来解开多义神经元。该框架将每一层的输入分开，创建一个专家混合体，其中每个神经元的输出由瓦尔登距离较小的神经元计算，这些神经元在稀疏化而不重新训练的情况下能更好地保持准确性。我们提供了强有力的证据表明，这是因为稀疏专家的混合有效地解纠缠了单个神经元的输入-输出关系，特别是那些难以纠缠的瓦尔登神经元。
arXiv:2405.14075v2 宣告类型: replace-cross
摘要：大规模语言模型（LLMs）已成为人工智能中强大的工具，尤其是在复杂决策场景中，但它们静态的问题解决策略往往限制了其在动态环境中的适应性。我们通过一种称为 $T^2$ of Thoughts ($T^2oT$) 的启发式算法，利用温度树 ($T^2$) 激励来探索增强LLMs的推理能力。主要关注通过动态调整搜索参数，特别是温度，来提高决策过程的准确性，而不增加计算需求。我们实验证明，我们提出的混合 $T^2oT$ 方法在单解准确性、多解生成和文本生成质量方面都取得了改进。我们的研究发现，虽然基于温度动态调整搜索深度的结果参差不齐，但在 $T^2oT$ 的适应能力配合下的固定搜索深度提供了更可靠和多功能的问题解决策略。这项工作强调了未来在优化算法与基础语言模型互动方面的可能性，特别是通过我们在24点游戏和创造性写作任务中的开发进行说明。
arXiv:2405.08726v2 种类更新：替换交叉
摘要：类人机器人有可能以高度视觉保真度模仿人类动作，但将这些动作转化为实际的物理执行仍然是一个重大挑战。图形领域现有的技术往往优先考虑视觉保真度而非物理基础的可行性，这给实用应用中部署两足系统带来了重大挑战。本文通过有界残差强化学习解决了这些问题，从而产生基于物理的高质量运动模仿，这些模仿不仅增强了动作相似性，还能成功跟随参考的人类轨迹。我们的框架，基于有界残差强化学习的类人机器人控制与模仿（I-CTRL），将运动模仿重新定义为不对物理基础进行重新目标化的约束调整。I-CTRL通过简单的独特奖励在五个机器人上实现了运动模仿的泛化。此外，我们的框架引入了一个自动优先级调度器，在高效训练跨不同动作的统一RL策略时管理大规模动作数据集。提出的这种方法是推进两足机器人控制的关键性一步，强调了视觉和物理真实性的对齐在成功运动模仿中的重要性。
arXiv:2405.02079v2 宣告类型: replace-cross
摘要：大型语言模型（LLMs）中编码的知识丰富以及它们在各种环境中零样本应用这些知识的能力，使它们成为决策制定中使用的有前途的候选者。然而，它们目前受限于无法提供可忠实解释并有效质疑以纠正错误的输出。在这篇论文中，我们通过引入具有论证推理能力的大型语言模型（ArgLLMs），尝试调和这些优势和劣势。具体来说，ArgLLMs 构建论证框架，这些框架则作为支持决策制定的形式推理的基础。这些论证框架的可解释性以及形式推理意味着任何由 ArgLLMs 作出的决策都可以进行解释和质疑。我们在决策制定任务（即声明验证）的背景下，通过实验评估了 ArgLLMs 的性能，与最先进的技术进行了比较。我们还定义了新的属性来表征可质疑性，并从这些属性出发对 ArgLLMs 进行正式评估。
arXiv:2405.01474v3 公告类型: replace-cross
摘要：大型视觉-语言模型（VLMs）在需要对图像和文本中的精细含义有深刻理解的任务中表现出强大的能力，例如视觉问答或视觉蕴含。然而，这些模型在面对包含比喻性含义的图像和字幕（如隐喻或幽默）时的能力几乎没有探索。为了解决这个问题，我们提出了一种新的任务框架，将比喻性含义理解问题框架化为一种可解释的视觉蕴含任务，在该任务中，模型需要预测图像（前提）是否蕴含字幕（假设），并用文本解释来证明预测的标签。这些比喻现象可以出现在图像中、字幕中或两者都有。通过人机合作的方式，我们构建了配套的专家验证数据集V-FLUTE，包含6,027个{图像、字幕、标签、解释}实例，覆盖五种不同的比喻现象：隐喻、明喻、成语、反话和幽默。通过自动评估，我们发现VLMs难以从字面上的意思推广到比喻性含义，特别是在图像中存在这种含义时更是如此。此外，我们通过人工评估识别了模型推理中常见的错误类型（幻觉和不完整或不准确的推理），这些错误跨越了不同类型的模型。
arXiv:2405.01053v4 宣告类型: replace-cross
摘要：在本文中，我们研究了定义良好表示或模型的特征。我们认为这样的表示或模型应具备普遍性，其特征在于：(i) 可区分性：在训练样本上表现良好；(ii) 通用性：在未见过的数据集上表现良好；(iii) 可迁移性：在分布变化的未见过的任务上表现良好。尽管普遍性的重要性不言而喻，但当前的自监督学习（SSL）方法缺乏对普遍性的显式建模，且相关的理论分析尚未充分探索。为了解决这些问题，我们旨在探索并整合普遍性到SSL中。具体来说，我们首先从任务的角度回顾SSL，发现每个迷你批次可以视为一个多类分类任务。然后，我们提出一个普遍性SSL模型应实现：(i) 通过在所有训练样本上最小化损失来学习普遍性，(ii) 通过学习因果不变的表示，从而在未见过的任务上表现良好来进行评估。为了量化这一点，我们引入了一个$\sigma$-测量，用于评估SSL模型与最优任务特定模型之间的性能差距。此外，为建模普遍性，我们提出了GeSSL框架。该框架首先通过最小化SSL损失学习任务特定模型，然后整合未来的更新以增强可区分性，并最终结合这些模型从多个任务中学习。理论和实证证据支持GeSSL的有效性。
arXiv:2404.14750v2 宣告类型: replace-cross
摘要：医疗基础模型有潜力通过提供医学数据的稳健和通用表示来彻底改变医疗保健。基于医学的视觉-语言预训练已成为学习医学图像和文本通用表示的一种有前景的方法。然而，当前利用医学图像和文本之间全局和局部对齐的算法可能会受到医学数据中冗余信息的影响。为了解决这个问题，我们提出了一种针对胸部X射线的基于接地知识增强的医学视觉-语言预训练（GK-MVLP）框架。在此框架中，通过使用基于变换器的接地知识增强模块，将医学知识与相应的解剖区域级视觉特征进行了细粒度对齐，从而将医学知识接地到适当的解剖区域。GK-MVLP在下游图像理解任务（胸部X射线疾病分类、疾病定位）、生成任务（报告生成）以及视觉-语言理解任务（医学视觉问答）中的表现与最新技术水平相当或更胜一筹。我们的结果表明，通过引入接地机制消除偏见并提高胸部X射线图像与放射学报告之间的对齐具有优势。