arXiv:2504.02965v1 类型: cross
摘要: 大型语言模型(LLMs)在广泛的语言任务中表现出的卓越能力为人类与AI的合作问题解决开辟了新的机遇。通过在大规模应用中运用人类的直觉和推理策略，LLMs能够放大人类的能力。我们探索了是否可以通过从人类引导AI系统解决复杂语言问题的示范中进行泛化来模拟人类引导者。我们引入了CoLa，一种新颖的自引导学习范式，用于训练自动化**引导者**，并将其评估应用于两个问答数据集、一个解谜任务和一个受限文本生成任务。我们的实验证明，CoLa在所有领域中表现均优于竞争对手。此外，一个较小规模的训练引导者在作为引导者时，在与GPT-4这样强大的模型竞争中表现更优。我们通过对问答数据集进行人类研究，比较了人类和自动化引导者所采用的策略。我们展示了自动化引导者通过调整其策略以适应推理者的能力建模，进行了定性的分析，突出了引导策略中的显著差异。
arXiv:2504.02963v1 类型：交叉学科
摘要：数字取证在现代调查过程中扮演着至关重要的角色，利用专门的方法系统地收集、分析和解释用于司法程序的数字证据。然而，传统的数字取证技术主要依赖于耗时的手动劳动过程，随着数字数据的快速增长和复杂性，这些方法变得越来越不足以应对。为此，大型语言模型(LLMs)已经涌现为能够自动化和增强各种数字取证任务的强大工具，显著地改变了该领域。尽管已经取得了一定的进展，但一般用户和取证专家往往缺乏对LLM的功能、原理和限制的全面理解，这限制了LLM在取证应用中充分发挥潜力。为了填补这一缺口，本文旨在提供一个易懂且系统的概述，说明LLM是如何变革数字取证方法的。具体而言，本文将回顾数字取证的基本概念，以及LLM的发展演变，并强调LLM的卓越能力。为了连接理论与实践，本文讨论了相关示例和实际场景。此外，本文还批判性地分析了将LLM应用于数字取证的当前局限性，包括与幻觉、可解释性、偏见和伦理问题相关的问题。此外，本文还概述了未来研究的前景，强调在取证过程中有效使用LLM以实现透明性、问责制和标准化的必要性。
arXiv:2504.02962v1 宣告类型: 交叉
摘要：在软件工程（SE）中，审查代码和批判性评价设计的能力是专业实践中的必要技能。然而，这些技能在正式教育中很少被强调，学生的同伴反馈质量和参与度也存在显著差异。本文介绍了Socratique，这是一个集成了生成式人工智能（GenAI）辅助的趣味化同伴评估平台，旨在在一门函数式编程课程中培养学生的同伴评审技能。通过融入游戏元素，Socratique旨在激励学生提供更多的反馈，而GenAI辅助则提供实时支持，以撰写高质量、建设性的评论。为了评估这一方法的影响，我们进行了一项随机对照实验，比较了一组使用带有游戏化和GenAI驱动设置的学生与一组使用最少游戏化的对照组学生。结果显示，治疗组的学生提供了显著更多的自愿反馈，并且在清晰度、相关性和具体性等方面获得了更高的评分——所有这些都是有效的代码和设计评审的关键方面。该研究为结合游戏化和AI以改进同伴评审过程的有效性提供了证据，并对在软件工程课程中培养评审相关能力具有潜在影响。
arXiv:2504.02949v1 类型: cross
摘要: 在本文中，我们介绍了VARGPT-v1.1，这是一个基于我们先前框架VARGPT的先进统一视觉自回归模型。该模型保留了视觉理解的下一步预测和图像合成的下一步生成的双重范式。具体而言，VARGPT-v1.1 结合了以下内容：(1) 一种新颖的训练策略，将迭代视觉指令调优与通过直接偏好优化 (DPO) 的强化学习相结合，(2) 包含830万对视觉生成指令的扩展训练语料库，(3) 升级了使用Qwen2的语言模型骨干，(4) 增强了图像生成分辨率，以及 (5) 在不改变架构的情况下具备新兴的图像编辑能力。这些进步使VARGPT-v1.1在多模态理解和文本到图像指令跟随任务中达到了最先进的性能，展示了在理解和生成指标上显著的改进。值得注意的是，通过视觉指令调优，模型获得了图像编辑功能，同时保持了与前代模型的架构一致性，这揭示了统一的视觉理解、生成和编辑的潜力。我们的研究结果表明，设计良好的统一视觉自回归模型可以有效地采用大型语言模型（LLMs）的灵活训练策略，展现了其广阔的扩展性。有关的代码库和模型权重可以在https://github.com/VARGPT-family/VARGPT-v1.1公开获取。
arXiv:2504.02938v1 Announce Type: cross
摘要：图神经网络（GNNs）已成为建模图数据的事实标准，注意力机制和变压器显著提升了它们在图基任务上的性能。尽管取得了这些进步，但在异构图上的性能仍然复杂，网络通常在这些任务上的表现不如其同构对应物。本文对各种GNN架构进行了基准测试，以识别异构图中表现最有效的策略，特别是针对节点分类和链接预测。我们的研究发现，图注意力网络在这些任务上表现出色。作为主要贡献，我们通过集成节点嵌入的位置编码来探索这些注意力网络的增强方法。这包括利用完整的拉普拉斯谱准确捕捉每个节点在图中的相对和绝对位置，进一步提升了节点分类和链接预测等下游任务的性能。
arXiv:2504.02922v1 Announce Type: cross
摘要：模型对比是研究微调如何改变模型的表示和内部算法的领域。在微调过程中引入了许多有趣的行为，而模型对比提供了一种有前景的视角来解释这些行为。Crosscoders 是一种最近的模型对比方法，它学习一个共享的可解释概念词典，该词典在基础模型和微调模型中都表示为潜在方向，从而使我们能够追踪概念在微调过程中如何变化或出现。值得注意的是，先前的工作在基础模型中观察到了没有方向的概念，并且推测这些模型特有的潜在方向是在微调过程中引入的概念。然而，我们确定了由 crosscoders 的 L1 训练损失引起的问题，这些问题可能导致将某些概念错误地归因于仅限于微调模型，实际上这些概念在两个模型中都存在。我们开发了潜在缩放以通过更准确地衡量每个潜在在模型中的存在来标识这些问题。在比较 Gemma 2 2B 基础模型和聊天模型的实验中，我们发现标准的 crosscoder 颠簸地受到这些问题的影响。基于这些洞见，我们训练了一个使用 BatchTopK 损失的 crosscoder，并表明它显著缓解了这些问题，找到了更多真正特有的聊天概念并且具有高度可解释性。我们建议实践者采用类似的技术。使用 BatchTopK crosscoder，我们成功地识别了一组真正特有的、可解释且因果有效的概念，如“虚假信息”和“个人问题”，以及多个关于不同拒绝触发的细微偏好相关概念。总体而言，我们的工作推进了基于 crosscoder 的模型对比方法的最佳实践，并证明了它可以对聊天微调如何改变语言模型行为提供具体的见解。
arXiv:2504.02917v1 类别:交叉学科
摘要：背景：大型语言模型（LLMs）正迅速融入医疗保健领域，有望增强各种临床任务。然而，人们对它们潜在的偏见表示关注，这可能损害患者护理并加剧健康不平等。本系统综述调查了LLMs在临床任务中偏见的普遍性、来源、表现形式和临床意义。方法：我们系统搜索PubMed、OVID和EMBASE数据库，从数据库 inception 到2025年，筛选评估LLMs在临床任务中偏见的研究。我们提取了关于LLM类型、偏见来源、偏表现象、受影响属性、临床任务、评价方法和结果的数据。使用修改后的ROBINS-I工具评估偏见风险。结果：共有38项研究符合纳入标准，表明各种LLM和临床应用中普遍存在偏见。数据相关的偏见（来自有偏见的训练数据）和模型相关的偏见（来自模型训练）是显著贡献者。偏见的表现形式包括：分配性损害（例如，不均匀的治疗建议）；代表性损害（例如，刻板印象关联，有偏图像生成）；以及性能差异（例如，输出质量的可变性）。这些偏见影响了多种属性，最频繁的是种族/ ethnicity 和性别，但也包括年龄、残疾和语言。结论：临床LLMs中的偏见是一个普遍且系统性的问题，可能导致误诊和不适当的治疗，特别是在边缘化患者群体中。对模型进行严格评估至关重要。此外，开发并实施有效的缓解策略，并在实际临床环境中持续监测，对于确保LLMs在医疗保健中的安全、公平和可信部署至关重要。
arXiv:2504.02912v1 Announce Type: cross
摘要：在在线学习设置中的可变特征空间领域，也被称为随机输入，由于其在各个领域的适用性，如今非常引人注目。然而，目前的随机输入解决方案是模型依赖的，不能利用现有的先进深度学习方法，而这些方法需要固定维度的输入。因此，我们提出了一种在线学习设置中实时将可变特征空间转换为固定维度图像表示的方法。这一简单而新颖的方法是模型无关的，允许任何基于视觉的模型应用于随机输入，如使用ResNet和ViT所演示的。图像表示能够无缝处理不一致的输入数据，使得我们提出的方法具备可扩展性和鲁棒性。我们在四个公开可用的数据集上展示了我们方法的有效性。代码可在https://github.com/Rohit102497/HaphazardInputsAsImages 获取。
arXiv:2504.02911v1 交叉公告类型：cross
摘要：特征归因（FA）方法是常见的后验方法，用于解释大型语言模型（LLMs）如何做出预测。因此，生成能够反映模型实际内部行为的忠实归因至关重要。在本文中，我们介绍了Noiser，这是一种基于扰动的FA方法，该方法对每个输入嵌入施加有界的噪声，并通过测量模型在部分扰动输入下的鲁棒性来获取输入归因。此外，我们提出了一个可答性度量，该度量使用一个受指令的法官模型来评估高评分的词汇在多大程度上足以恢复预测输出。通过在六个LLM和三个任务上进行全面评估，我们证明了Noiser在忠实性和可答性方面都优于现有的基于梯度、基于注意和基于扰动的FA方法，使其成为一种稳健且有效的解释语言模型预测的方法。
arXiv:2504.02910v1 交叉公告类型: cross
摘要: 可解释的人工智能（XAI）旨在将黑箱算法过程转化为透明的过程，提高人工智能在教育等各个领域的应用信任度。本综述旨在研究文献中XAI的各种定义，并探讨XAI在教育中的挑战。我们的目标是阐明XAI如何有助于提高教育领域的水平。利用PRISMA方法进行严谨和透明的研究，本系统综述共识别出19篇相关研究。我们的发现揭示了15种定义和62个挑战。这些挑战通过主题分析被归类为七个组别：可解释性、伦理、技术、人机交互（HCI）、可信度、政策和指南，以及其他，从而加深了我们对XAI在教育领域的影响理解。我们的分析突出了XAI标准化定义缺失的问题，导致了混淆，特别是因为与伦理、可信度、技术性和可解释性相关的定义往往重叠且变化不定。