arXiv:2408.01253v2 公告类型: 替换
摘要：\textit{推理} 可以被视作一个算法 $P$，它选择一个行为 $a^* \in \mathcal{A}$，旨在优化某些结果。然而，执行 $P$ 本身会带来成本（时间、能量、容量限制等），并且需要与基础决策问题中通过做出选择获得的显式效用一起考虑。找到合适的 $P$ 可以被构架为一个在推理过程空间中优化的问题，一般称之为 \textit{元推理}。传统的元推理模型假设智能体知道底层MDP的状态转移和奖励分布。本文通过提出一个元贝叶斯自适应MDP（meta-BAMDP）框架，将元推理应用于未知状态转移和奖励分布的环境，从而涵盖了一个更大、更现实的问题集合，这些问题是人类和AI系统面临的。作为第一步，我们将该框架应用于伯努利多臂 bandit 任务。由于元问题的复杂性，我们的解决方案必须是近似的。然而，我们引入了两个新的定理，显著增强了问题的可处理性，使得能在一系列以现实人类决策为基础的假设下进行更稳健的近似。这些结果为资源理性视角和理解认知限制下的探索行为提供了规范框架，并为人类在伯努利多臂 bandit 任务中的行为提供了可实验验证的预测。
arXiv:2407.21009v4 公告类型: 替换
摘要: 当前的大型语言模型（LLM）训练将数学推理视为一项核心能力。随着公开可用资源的完全利用，对多样性和具有挑战性的数学问题的需求仍然未得到满足。仅依赖人类专家既耗时又昂贵，而LLM生成的问题往往缺乏所需的多样性和难度。我们提出了一种设计框架，结合了LLM的优势与人类在环方法，以生成一系列具有挑战性的数学问题。我们利用强LLM的元认知技能[Didolkar等人，2024]，从现有数学数据集中提取核心“技能”。这些技能构成了生成新颖且具有挑战性问题的基础，通过使用核心技能的随机配对提示LLM。在每个问题中使用两种不同的技能使其成为LLM和人类都无法处理的“分布外”任务。我们的管道通过多轮提示使LLM迭代生成和优化问题及其解决方案。然后，人类注释员验证并进一步优化问题，通过进一步与LLM交互提高其效率。将此管道应用于从MATH数据集[ Hendrycks等人，2021]提取的技能，产生了MATH$^2$ - 一个具有更高质量数学问题的数据集，这体现在以下几个方面：(a) 所有模型在MATH$^2$上的表现低于在MATH上的表现；(b) 使用MATH$^2$问题作为上下文示例时，MATH上的性能提升。尽管专注于数学，我们的方法似乎适用于需要结构化推理的其他领域，并且可能作为可扩展监督的一部分。值得注意的是，模型在新数据集上的表现之间存在显著的关系：MATH$^2$上的成功率是MATH上的平方，这表明解决MATH$^2$中的问题需要两个不同数学技能的非平凡组合。
arXiv:2407.20761v2 宣告类型: 替换
摘要：最近，由于这些模型对世界有了更全面的理解，视觉-语言指令调优模型取得了显著的进步。在这项工作中，我们发现大规模并行训练这些模型会导致不同设备之间的计算负载不平衡。视觉部分和语言部分本身是异构的：它们的数据分布和模型结构差异显著，这影响了分布式训练的效率。我们从数据、模型和内存三个角度来看，重新平衡了计算负载，实现了设备之间的更均衡计算。这三个组件不是独立的，而是紧密相连，形成了一个泛在均衡训练框架。具体来说，在数据方面，我们根据设备内的和跨设备分组实例，形成新的均衡小批次。在模型方面，我们使用基于搜索的方法来实现更均衡的分区。在内存优化方面，我们针对每个分区动态调整了重计算策略，以充分利用可用内存。我们进行了广泛的实验来验证我们方法的有效性。与InternVL-Chat开源训练代码相比，我们显著减少了GPU天数，达到了大约1.8倍的加速。我们的方法的有效性和泛化性还在各种模型和数据集上得到了进一步证明。代码将在https://github.com/ModelTC/OmniBal发布。
arXiv:2406.14479v2 通知类型: 替换
摘要：分析内部表示之间的相似性是一种理解深度神经网络行为的重要技术。目前，大多数用于分析高维表示之间相似性的方法，如中心核对齐（CKA）方法，依赖于数据点表示的统计特性。在本文中，我们将重点放在变压器模型上，并研究单个变压器内部层之间表示的相似性。在此背景下，我们表明，简单的样本内余弦相似度度量能够捕获这种相似性，并且与复杂的CKA一致。我们在常见变压器上的实验结果表明，不同层的表示具有正相关性，随着层的接近，相似性会增加。我们在学习的变压器假设有地理曲线假设的情况下提供了一个理论解释这一现象。然后，我们证明表示相似性的增加直接应用于任何隐藏层表示的最后一层分类器的预测概率也会增加。我们提出了一种对齐训练方法，通过增强内部表示之间的相似性来提高浅层的有效性，训练后的模型具有以下特性：(1) 更多的早期饱和事件，(2) 层级准确率单调增加，并揭示了所需最小深度，(3) 当作为多出口模型使用时，它们的性能与包含专门为浅层早期退出设计的额外分类器的标准多出口架构相当。据我们所知，这是第一次表明单一常见分类器足以应用于多出口模型。我们分别在视觉和自然语言处理任务上进行了实验，以展示所提出的对齐训练方法的性能。
arXiv:2406.04734v2 宣告类型: 替换
摘要：生成式AI模型能够执行传统上需要创造力和人类理解的多种任务。在训练过程中，它们从现有数据中学习模式，并能够生成新的内容，如文字、图像、音频和视频，这些内容与这些模式相匹配。由于其多功能性和通常高质量的结果，生成式AI模型一方面代表了数字化的一个机遇。另一方面，使用生成式AI模型带来了新型的IT安全风险，必须作为全面分析IT安全威胁景观的一部分来进行考虑。为了应对这种风险潜力，计划将生成式AI集成到其工作流程中的公司或机构应在其整合前进行单独的风险分析。同样，这对于开发人员和运营商也适用，因为许多与生成式AI相关的风险必须在开发过程中解决或只能通过运营组织来影响。基于此，现有的安全措施可以进行调整，并实施额外的措施。
arXiv:2402.13846v2 公告类型：替换
摘要：最近关于大型语言模型（LLMs）的隐私研究显示，它们在从在线文本中推断个人信息方面接近人类水平的表现。随着模型能力的不断提高，现有的文本匿名化方法目前无法满足监管要求和对抗威胁。在本文中，我们采取两步来弥补这一差距：首先，我们提出了一种新的评估环境，用以评估面对对抗性LLM推断的匿名化效果，允许自然地测量匿名化性能并弥补了先前度量标准的一些不足之处。然后，在此环境下，我们开发了一种新型的基于LLM的对抗性匿名化框架，利用LLM强大的推断能力来指导我们的匿名化程序。我们在13种LLM上对现实生活中的和合成的在线文本进行了全面的实验评估，与多种基准和工业级别的匿名化工具进行比较。我们的评估表明，对抗性匿名化在结果效用和隐私保护方面均优于当前的商业匿名化工具。我们通过一项包含50人的调研进一步支持了这一发现，该调研强调了人们对LLM匿名化文本的强烈且一致的偏好。
arXiv:2402.06049v2 宣告类型: 替换
摘要：大规模语言模型（LLMs）在与人类交流方面表现出显著的潜力。作为社会学实验中人类对话伙伴的人工伙伴的潜在用途是一个令人兴奋的前景。但这是多么可行呢？在这里，我们通过一个预先注册的研究进行了严格测试，该研究运行了多个基于辩论的共识游戏。每场比赛开始时有六名人类、六名代理或三名人类和三名代理。我们发现，代理能够更好地融入并专注于辩论的话题，从而提高所有玩家的生产效率。然而，人类认为代理不如其他人类有说服力和自信，我们收集的人类和代理的行为指标在很大程度上与其他人的存在显著差异。我们观察到代理已经相当不错的辩论者，但他们的行为产生了一种与人类生成数据截然不同的模式。
arXiv:2306.04802v5 公告类型：替换
摘要：本文综述了当前医疗知识图谱（HKGs）的现状，包括其构建、利用模式及其在各个医疗和生物医学研究领域的应用。我们详细分析了现有关于HKGs的文献，涵盖了其构建方法、利用技术和在基础科学研究、制药研发、临床决策支持和公共卫生方面的应用。综述涵盖了无模型和有模型的利用方法以及HKGs与大型语言模型（LLMs）的集成。我们在Google Scholar上搜索了相关的HKGs论文，并将其分为以下主题：HKG构建、HKG利用及其在各个领域中的下游应用。我们还讨论了它们的特殊挑战以及未来工作的潜力。综述突出了HKGs在整合来自多个领域的大量生物医学知识方面对生物医学研究和临床实践的巨大影响潜力。HKGs与LLMs之间的协同作用为构建更全面的知识图谱并提高医疗应用的准确性提供了前景广阔的机遇。HKGs已成为结构化医疗知识的强大工具，在生物医学研究、临床决策和公共卫生领域具有广泛的应用。本文为HKGs领域未来的研究与发展提供了一个路线图，强调了结合知识图谱与先进机器学习模型在医疗保健转型方面的潜力。
arXiv:2502.01636v1 宣告类型：交叉
摘要：前期关于参数修改的知识编辑工作表明，大规模的顺序编辑会导致模型显著退化。在这篇论文中，我们研究了这一现象背后的原因，并将顺序知识编辑扩展到10,000次顺序编辑，同时保持原始模型的下游性能。我们首先表明，基于“寻找并修改”的知识编辑方法会导致对编辑事实的过拟合。我们还表明，使用这些方法的连续知识编辑会导致编辑矩阵范数不成比例地增长。然后，我们揭示了“寻找并修改”方法工作原理中的关键洞察。我们证明这些方法利用了一个隐藏的技巧——这种技巧赋予了从编辑层产生的输出激活更大的重要性。通过这种“重要性篡改”，编辑层对模型输出的贡献大幅增加。为了解决这些问题，我们提出了ENCORE——早期停止和范数受限的稳健知识编辑。ENCORE通过控制过拟合和不成比例的范数增长，使长期顺序编辑成为可能，我们能够在不牺牲下游性能的情况下进行多达10,000次顺序编辑。ENCORE在Llama3-8B上比MEMIT快61%，比AlphaEdit快64%。
arXiv:2502.01635v1 类型: cross
摘要：领先的AI开发者和初创公司正越来越多地部署自主AI系统，这些系统能够在有限的人类干预下规划和执行复杂的任务。然而，目前尚没有结构化的框架来记录自主系统的技术组件、预期用途和安全功能。为填补这一空白，我们介绍了AI Agent Index，这是首个公开数据库，用于记录当前部署的自主AI系统的信息。对于符合纳入索引标准的每个系统，我们根据公开可用的信息和与开发者的沟通，记录了该系统的组件（例如，基础模型、推理实施、工具使用）、应用领域（例如，计算机使用、软件工程）以及风险管理实践（例如，评估结果、护栏）。我们发现，尽管开发者通常提供了关于自主系统能力及其应用的充足信息，但目前关于安全性和风险管理实践的信息则相对有限。AI Agent Index 可在 https://aiagentindex.mit.edu/ 上在线访问。