为什么生物神经元和人工神经元有时会模块化，每个神经元编码一个有意义的变量，而有时又会将多个变量的表示纠缠在一起？在这项工作中，我们发展了一种关于生物启发式表示（即非负且能量效率高的表示）何时会针对源变量（来源）进行模块化的理论。我们推导出关于源样本的必要和充分条件，这些条件决定了最优生物启发式线性自动编码器中的神经元是否会模块化。我们的理论适用于任何数据集，远远超出了先前工作中研究的统计独立性案例。相反，我们表明，如果源的支撑“足够分散”，则源会模块化。从这个理论中，我们在各种关于数据分布如何影响非线性前馈和循环神经网络在监督和无监督任务上训练的模块化的经验研究中提取并验证了预测。此外，我们将这些思想应用于神经科学数据。首先，我们解释了为什么两项记录工作记忆任务中前额叶活动的研究在记忆是否以正交子空间编码方面存在冲突：由于实验方案中的关键差异，源的支撑不同。其次，我们使用类似的论点来理解为什么运动皮层 RNN 模型中的准备子空间和有效子空间有时仅是正交的。第三，我们研究了内嗅皮层记录中空间和奖励信息的混合，并表明我们的理论比先前的工作更符合数据。第四，我们提出了一系列令人惊讶的设置，其中神经元可以（或看起来）是混合选择性的，而无需像传统理论那样需要复杂的非线性读出。总之，我们的理论规定了神经活动模块化的精确条件，为在脑和机器中诱导和阐明模块化表示提供了工具。
控制人工智能行为的能力对于防止其长期潜在的危险和灾难性后果至关重要。表征工程（RepE）已成为一种新颖而强大的方法，可以自上而下地引导内部模型的行为，例如“诚实”。因此，了解表征的引导应放在对齐倡议的最前沿。不幸的是，目前在这一层面上理解可塑性的努力却被严重忽视。本文旨在弥合知识差距，了解大型语言模型表征的稳定性，特别是“诚实”的概念，以及模型可塑性如何通过在不同的微调阶段提取的引导向量而发生变化，揭示了模型行为变化的不同幅度。研究结果至关重要，表明尽管早期引导表现出高度的可塑性，但后期阶段却有一个令人惊讶的响应性关键窗口。这种模式在不同的模型架构中都被观察到，表明存在一种通用的模型可塑性模式，可用于有效的干预。这些见解对人工智能透明度领域做出了巨大贡献，解决了限制我们有效引导模型行为的迫切的效率缺乏问题。
目前，创建训练数据以教授模型的过程是由人类驱动的，人类手动分析模型的弱点，并计划如何创建数据来改进学生模型。最近使用大型语言模型 (LLM) 作为标注者的方法减少了人工工作量，但仍然需要人类来解释评估反馈并控制 LLM 生成学生需要的數據。通过创建自主数据生成代理（或教师）来自动化这个劳动密集型过程是可取的，但这需要能够模拟数据创建的反馈驱动、迭代、闭环的环境。为了实现此类代理及其模块的快速和可扩展测试，我们引入了 DataEnvGym，这是一个用于数据生成代理的教师环境测试平台。DataEnvGym 将数据生成框定为一个顺序决策任务，涉及一个代理，该代理包含一个数据生成策略（生成创建训练数据的计划）和一个数据生成引擎（将计划转换为数据），在一个提供学生反馈的环境中。代理的目标是提高学生表现。学生在生成的数据上进行迭代训练和评估，每次迭代后都会将他们的反馈（以错误或薄弱技能的形式）报告给代理。DataEnvGym 包含跨越状态表示和动作空间中 3 个结构级别、多个教师环境实例。结构更强的环境基于推断的技能，并提供更多可解释性和课程控制。我们支持 3 个不同的任务（数学、代码和 VQA），并测试多个学生和教师。我们教学环境中的示例代理可以迭代地提高跨任务和设置的学生。此外，我们表明环境教授不同的技能水平，并测试关键模块的变体，这指出了未来在改进数据生成代理、引擎和反馈机制方面的工作。
大型语言模型 (LLM) 在与 Lean 等交互式证明助手集成后，在形式化定理证明等数学推理任务中取得了成功。现有的方法涉及在特定数据集上训练或微调 LLM，以在特定领域（如本科数学）中表现良好。这些方法在泛化到高级数学方面存在困难。一个根本的限制是这些方法在静态领域中运行，无法捕捉到数学家如何经常在多个领域和项目之间同时或循环地工作。我们提出了 LeanAgent，这是一种用于定理证明的新型终身学习框架，它能够不断地泛化到不断扩展的数学知识并改进其知识，而不会忘记之前学到的知识。LeanAgent 引入了几个关键创新，包括一种课程学习策略，该策略根据数学难度优化学习轨迹；一个用于有效管理不断发展的数学知识的动态数据库；以及渐进式训练，以平衡稳定性和可塑性。LeanAgent 成功证明了来自 23 个不同 Lean 库（其中许多来自高级数学）的 162 个以前人类无法证明的定理。它的性能比静态 LLM 基线高出 11 倍，证明了诸如抽象代数和代数拓扑等领域中的挑战性定理，同时展示了从基本概念到高级主题的清晰学习过程。此外，我们分析了 LeanAgent 在关键终身学习指标上的优异表现。LeanAgent 在稳定性和反向迁移方面取得了非凡的成绩，其中学习新任务可以提高对先前学习任务的性能。这强调了 LeanAgent 的持续泛化能力和改进能力，解释了其优异的定理证明性能。
大型语言模型 (LLM) 在许多自然语言处理任务中取代了传统方法。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法...
在社会生活中，人类拥有推断和推理他人心理状态（如情绪、信念和意图）的能力，这被称为心智理论（ToM）。同时，人类的心理状态会随着社会情境的改变而变化，我们将这种能力称为社会化。这两种能力共同构成了人际交往的基础。在人工智能（AI）时代，特别是随着大型语言模型（LLMs）的发展，我们提出了一个有趣的问题：LLMs 在 ToM 和社会化能力方面表现如何？更广泛地说，这些 AI 模型真的能进入并驾驭真实的社会世界吗？现有的研究通过将 LLMs 作为第三人称视角的被动观察者来评估 LLMs 的 ToM 和社会化能力，而不是作为积极参与者。然而，与第三人称视角相比，从以自我为中心的**第一人称视角**观察和理解世界，对人类和 AI 智能体来说都是一种自然的方式。LLMs 从第一人称视角的 ToM 和社会化能力，是推动具身 AI 智能体发展的一个关键属性，但仍未得到探索。为了回答上述问题并弥合研究差距，我们引入了 EgoSocialArena，这是一个新颖的框架，旨在从第一人称视角评估和研究 LLMs 的 ToM 和社会化能力。它包含两种评估环境：静态环境和交互环境，以及七种场景：日常生活、反事实、新世界、二十一点、猜数字和限注德州扑克，总计 2,195 个数据条目。利用 EgoSocialArena，我们对九种先进的 LLMs 进行了全面评估，并观察到一些关于 LLMs 未来发展以及目前最先进的 LLMs 能力水平的关键见解。
我们研究了由梯度流训练的具有 ReLU 激活函数的两层全连接神经网络的最小二乘回归问题。我们的第一个结果是一个泛化结果，它对底层回归函数或噪声没有其他假设，除了它们是有界的。我们在神经切线核机制下进行操作，并且我们的泛化结果是通过将超额风险分解为估计误差和逼近误差而得到的，将梯度流视为一种隐式正则化器。这种在神经网络背景下的分解是梯度下降的一种新视角，帮助我们避免了均匀收敛陷阱。在这项工作中，我们还确定了在相同设置下，训练后的网络会过度拟合数据。总之，这些结果建立了针对任意回归函数的有限宽度 ReLU 网络的良性过度拟合的第一个结果。
基于内容的图像检索 (CBIR) 在医疗诊断领域已展现出巨大潜力，旨在为医疗专业人员（医生或病理学家）提供支持。然而，最终的诊断决定仍由医疗专业人员根据其积累的经验做出。在此背景下，我们认为人工智能可以通过提供最相关的信息来协助诊断过程，而非做出最终决定，从而在应对医疗诊断挑战中发挥关键作用。CBIR 方法使用相似性度量来比较使用卷积神经网络 (CNN) 从图像生成的特征向量。除了医疗图像中包含的信息外，患者的临床数据通常也可用，并且在医疗专业人员的最终决策过程中也具有相关性。在本文中，我们提出了一种名为 CBIDR 的新方法，该方法利用患者的医疗图像和临床数据，并通过 TOPSIS 排序算法将两者结合起来。其目标是通过从数据库中检索与查询数据最相似的图像和患者临床数据，来帮助医疗专业人员做出最终诊断。作为案例研究，我们展示了我们的 CBIDR 用于口腔癌诊断，包括组织病理学图像和患者临床数据。实验结果表明，在 Top-1 中准确率达到 97.44%，在 Top-5 中准确率达到 100%，表明了该方法的有效性。
在区块链平台上，对智能合约进行安全和经济标准合规性检查的需求非常高。目前，审计等人工方法是常用的手段。基于机器学习的自动化技术有望减轻人工工作量和成本。然而，与机器学习技术在其他领域取得巨大成功的应用不同，智能合约审计领域尚未出现系统性的机器学习技术。我们提出了 SC-Bench，第一个用于自动化智能合约审计研究的数据集。SC-Bench 包含 5,377 个在以太坊（一个广泛使用的区块链平台）上运行的真实世界智能合约，以及 15,975 个违反以太坊标准 ERC 的案例。其中，139 个是程序员真实犯下的错误，其余是我们系统性注入的错误，用来模拟不同 ERC 规则的违反情况。我们使用 GPT-4 对 SC-Bench 进行评估，分别以合约和 ERC 规则作为提示。此外，我们手动识别每个违反规则的代码位置（即预言机），并以包含此信息的形式向 GPT-4 提出真假判断问题。我们的结果表明，在没有预言机的情况下，GPT-4 只能检测到 0.9% 的违规行为，而在有预言机的情况下，它可以检测到 22.9% 的违规行为。这些结果表明，基于机器学习的智能合约审计技术仍有很大的改进空间。
随着预训练语言模型的不断发展，基于提示的训练成为一种广泛采用的范式，它极大地提高了模型在许多自然语言处理任务中的利用率。在零样本或少样本场景中，当标注数据数量有限时，提示方法也展现出比传统微调方法更好的性能。在这个框架中，解释器起着至关重要的作用，它将掩码词分布解释为输出预测。在这项工作中，我们提出了\acrshort{mave}，一种通过在词嵌入空间中使用邻域关系来丰富类别标签以构建解释器的文本分类方法。此外，我们详细阐述了一个基准测试程序，用于评估少样本学习环境下文档分类的典型解释器基线。我们的模型在使用明显更少资源的情况下，实现了最先进的结果。我们证明了我们的方法在监督数据极其有限的情况下特别有效。