arXiv:2406.03345v3 宣告类型: replace-cross
摘要：学习在数据分布变化时泛化的表示对于构建稳健的机器学习模型至关重要。然而，尽管近年来做出了巨大努力，但在这一方向上的算法进展依然有限。在这项工作中，我们试图理解使用深度神经网络进行离分布泛化的根本困难。首先，我们通过实验证明，即使允许神经网络明确拟合能够离分布泛化的教师网络得到的表示，也对学生的网络泛化不足是不够的。然后，通过对结构化特征模型下由随机梯度下降（SGD）优化的两层ReLU网络的理论研究，我们识别出神经网络一种未被探索的基本特征学习倾向：特征污染。神经网络能够同时学习不相关的特征和预测性特征，这导致在数据分布变化时泛化失败。值得注意的是，这种机制本质上与文献中归因于虚假相关性的普遍说法有所不同。总体而言，我们的结果为神经网络的非线性特征学习动态提供了新的见解，并强调了在离分布泛化中考虑归纳偏置的必要性。
arXiv:2405.19778v4 角色类型：replace-cross
摘要：随着 Assistants API 的最近引入，预计基于文档的语言模型将在各个领域被积极使用，尤其是在角色扮演方面。然而，一个关键挑战在于利用主人公的人格特质：因为 Assistants API 的信息提取部分每次都不相同，经常会遗漏重要的信息，如主人公的背景故事或关系。仅通过将人格文档作为输入提供给 Assistants API 无法保持一致的人格特质。为了应对实现稳定人格一致性这一挑战，我们提出了一种新型的人格重建框架 CharacterGPT，以缓解 Assistants API 的缺点。我们的方法包括角色人格培训（CPT），这是一种有效的人格重建过程，通过根据每个角色的简要小说概述提取角色特征，仿佛小说中的故事情节在不断推进，从而更新角色的人格特质。在我们的实验中，我们要求每个角色在各种情况下进行大五人格问卷调查，并分析结果。为了测试其能否创新思考，我们让每个角色生成短篇小说。广泛的实验和人工评估表明，CharacterGPT 为角色扮演代理研究提供了新的可能性。代码和结果可在 https://github.com/Jeiyoon/charactergpt 获取。
arXiv:2405.14445v2 适用类型: 替换交叉
摘要：本文描述了使用GPT-4（大规模语言模型，LLM）进行系统评价中（半）自动化数据提取的快速可行性研究。尽管近期对LLM的兴趣有所增加，但仍然缺乏如何设计基于LLM的自动化工具以及如何稳健评估其性能的理解。在2023年证据综合黑客马拉松期间，我们进行了两次可行性研究。首先，自动提取人类临床、动物和社会科学领域研究的特征。我们为每个类别开发了两个研究，并使用了十个研究进行评估。其次，我们使用LLM预测EBM-NLP数据集中100篇摘要中的人、干预、对照和结果（PICOs）标签。总体而言，结果显示约80%的准确率，各领域之间存在一些差异（人类临床研究为82%，动物研究为80%，人类社会科学领域研究为72%）。因果推理方法和研究设计是数据提取项目中错误最多的部分。在PICOs研究中，参与者和干预/对照部分显示高准确率（>80%），而结果部分更具挑战性。评估是手动进行的；BLEU和ROUGE等评分方法显示出有限的价值。我们观察到LLM预测的变异性以及响应质量的变化。本文提出了一个模板，用于在未来评价在系统评价自动化背景下的数据提取中LLM的表现。我们的结果显示，在某些情况下，如作为第二个或第三个审阅人使用LLM，可能具有价值。然而，当将像GPT-4这样的模型整合到工具中时需谨慎。对于LLM处理的每种类型的数据，在实际应用中的稳定性和可靠性需要进一步研究。
arXiv:2404.14755v2 通知类型: 替换-交叉
摘要：随着视觉语言模型(VLMs)技术的不断进步，在皮肤病学领域，四类最常见的医学类别中，已经取得了显著的研究成果。然而，尽管这些进步，VLM 在诊断过程中仍由于皮肤病学条件的固有复杂性，导致难以向用户解释其可解释性问题。现有的工具为用户理解提供的支持相对有限。我们提出了一种名为SkinGEN的诊断到生成框架，该框架利用稳定扩散(SD)模型从VLM提供的诊断结果中生成参考示范，从而增强视觉可解释性。通过广泛的实验和低秩适应(LoRA)技术，我们确定了皮肤状况图像生成的最佳策略。我们进行了用户研究，涉及32名参与者，评估了系统的性能和可解释性。结果表明，SkinGEN 显著提高了用户对 VLM 预测的理解，并促进了对诊断过程的信任。本工作为皮肤病学及其他领域提供更多透明且用户中心的VLM应用铺平了道路。
arXiv:2404.03713v2 更新类型: 交叉替换
摘要: 概念基于的解释将深度学习模型的内部表示转化为人类熟悉的语言：概念。找到这些概念的一种流行方法是概念激活向量(Concept Activation Vectors, CAVs)，这些向量是通过使用概念示例的探针数据集学习得到的。在本文中，我们研究了CAVs的三个属性：(1) 不同层之间的不一致性，(2) 与其他概念的纠缠，(3) 空间依赖性。每个属性都既带来了挑战也带来了机会，可以在解释模型时利用这些机会。我们介绍了用于检测这些属性的工具，提供了有关每个属性如何导致误导性解释的见解，并提供了减轻其影响的建议。为了展示实际应用，我们将这些建议应用于皮肤黑色素瘤分类任务，展示了纠缠如何导致不可解释的结果，以及负探针集的选择对CAV意义产生的显著影响。此外，我们展示了理解这些属性可以为我们所用。例如，我们引入了空间依赖性的CAVs，用于测试模型对特定概念和类的平移不变性。我们的实验在自然图像(ImageNet)、皮肤病变(ISIC 2019)以及一个新的合成数据集Elements上进行。Elements数据集专门设计用于捕捉概念与类别之间已知的真实关系。我们发布了这个数据集以促进进一步研究理解和评估解释方法。
arXiv:2403.06925v2 宣告类型：替换交叉
摘要：变换器在许多任务中实现了最先进的准确性和稳健性，但对其归纳偏差以及这些偏差与其他神经网络架构的差异仍然缺乏理解。在本文中，我们确定了模型对输入中令牌级别的随机扰动的敏感性作为一个统一的度量标准，它解释了变换器在不同数据模态下的归纳偏差，并使其与其他架构区分开来。我们展示了变换器在视觉和语言任务中比MLPs、CNNs、ConvMixers和LSTMs具有更低的敏感性。我们还展示了这种低敏感性偏见的重要影响：(i) 低敏感性与更好的稳健性相关；也可以作为一种高效的干预措施，进一步提高变换器的稳健性；(ii) 它对应于损失landscape中的更平坦的极小值；(iii) 它可以作为理解变换器掌握程度的指标。我们通过理论结果支持这些发现，显示了变换器在NTK范式下的（弱）谱偏置，并且由于低敏感性提高了稳健性。相关代码可在 https://github.com/estija/sensitivity 获取。
arXiv:2402.17767v2 编码类型：替换-交叉
摘要：构建能在未见过的对象和环境中熟练操作的移动操控系统需要什么条件？本工作通过使用开合关节对象作为移动操控测试平台来回答这个问题。具体而言，我们的重点是完成此任务的端到端性能，而不使用任何特权信息。机器人在一个能看到新目标关节对象的位置开始，需要接近对象并成功打开它。我们首先开发了这项任务的系统，然后在13个实际测试地点进行了超过100次的端到端系统测试。我们的大规模研究揭示了一些令人惊讶的发现：a) 在任务中，模块化系统的表现优于端到端学习系统，即使端到端学习系统在1000多次示范的基础上进行了训练；b) 感知才是任务成功的主要瓶颈，而不是精确的末端执行器控制；c) 在孤立条件下开发的最先进的关节参数估计模型在面对机器人为中心的视角时表现不佳。总体而言，我们的发现强调了独立开发管道组件的局限性，并强调了系统层面研究的必要性，为构建可泛化的移动操控系统提供了一个务实的路线图。项目网站上提供相关的视频、代码和模型：https://arjung128.github.io/opening-articulated-objects/
arXiv:2402.05306v2 宣告类型: replace-cross
摘要：符号回归（SR）在从观测数据中发现潜在的数学和物理关系方面具有巨大潜力。然而，可能表达式的庞大组合空间给在线搜索方法和预训练变压器模型带来了重大挑战。此外，当前最先进的方法通常不考虑领域专家的先验知识，并且不支持在方程发现过程中与模型的迭代交互。为了解决这些挑战，我们提出了符号Q网络（Sym-Q），这是一种先进的交互框架，适用于大规模符号回归。与以前的大规模基于变压器的SR方法不同，Sym-Q利用强化学习而不依赖于基于变压器的解码器。这种表述允许智能体通过使用任何类型的树编码器进行离线强化学习来学习，从而实现更高效的训练和推理。此外，我们提出了一个协同设计机制，其中基于强化学习的Sym-Q在方程发现过程中的任何阶段都促进与领域专家的有效交互。用户可以动态修改生成表达式的节点，与智能体协作，调整数学表达式以更好地适应问题并符合假设的物理定律，尤其是在预期行为有先验部分知识的情况下。我们的实验结果显示，预训练的Sym-Q在具有挑战性的SSDNC基准上超过了现有的SR算法。此外，我们在现实世界案例中实验显示，通过交互式的协同设计机制，其性能可以得到进一步提升，Sym-Q相比其他最先进的模型获得了更大的性能提升。我们的可复现代码可在https://github.com/EPFL-IMOS/Sym-Q获取。
arXiv:2402.02364v2 宣告类型：替换交叉
摘要：深度学习涉及在神经网络参数空间中导航一个高维损失景观。在训练过程中，复杂的计算结构会在神经网络内部形成并重新形成，导致输入/输出行为发生变化。深度学习科学的一个优先事项是发现指导神经网络结构和行为发展的原则。借助奇异学习理论的框架，我们提出模型开发与损失景观局部几何的退化之间有深刻联系。我们通过监测变压器语言模型和上下文线性回归变压器在整个训练过程中的损失景观退化程度（通过局部学习系数量化），来研究这种联系。我们表明，训练可以被划分为损失景观退化程度明显变化的不同时期，而这些退化程度的变化与变压器内部计算结构和输入/输出行为的重大变化相一致。这一发现强调了基于退化视角理解现代深度学习的潜力。
arXiv:2401.13835v2 宣告类型：替换交叉
摘要：随着人工智能（AI）系统，特别是大型语言模型（LLMs），越来越多地融入决策过程，信任它们的输出变得至关重要。为了赢得人类的信任，LLMs 必须校准得当，使其能够准确评估并传达其预测正确性的可能性。虽然近期的研究主要集中在LLMs的内部置信度上，但人们对于它们如何有效地向用户传达不确定性知之甚少。在这里，我们探讨了校准差距，即人类对LLM生成答案的信心与模型实际信心之间的差异，以及区分差距，即人类和模型区分正确和错误答案的能力。我们的实验结果表明，当提供默认解释时，用户往往会高估LLM回复的准确性。此外，更长的解释会增加用户的信心，即使额外的长度并未提高答案的准确性。通过调整LLM解释以更好地反映模型的内部信心，校准差距和区分差距均有所减小，显著提升了用户对LLM准确性的感知。这些发现强调了准确传达不确定性的的重要性，并突显了解释长度对影响用户在AI辅助决策环境中的信任程度的影响。代码和数据可以在 https://osf.io/y7pr6/ 找到。研究论文可以在Nature Machine Intelligence上找到，网址为 https://www.nature.com/articles/s42256-024-00976-7 。