重放是促进人工智能和大脑学习的一种强大策略。然而，生成重放的条件及其功能优势尚未得到充分认识。在本研究中，我们开发了一种能够生成重放的模块化强化学习模型。我们证明了以这种方式生成的重放有助于完成任务。我们还分析了表示中包含的信息，并提供了一种机制来解释重放如何发挥作用。我们的设计避免了复杂的假设，并使重放能够在面向任务的范式中自然地出现。我们的模型还再现了在生物代理中观察到的关键现象。本研究探索了模块化人工神经网络中生成重放的结构性偏差及其在开发高效强化学习方面的潜在效用。
安全代码审查是一个耗时费力的过程，通常需要与自动安全缺陷检测工具集成。然而，现有的安全分析工具面临着泛化能力差、误报率高和检测粒度粗糙等问题。大型语言模型 (LLMs) 被认为是解决这些挑战的有力候选者。在本研究中，我们进行了一项实证研究，以探索 LLMs 在代码审查中检测安全缺陷的潜力。具体而言，我们评估了六种 LLMs 在五种不同提示下的性能，并将它们与最先进的静态分析工具进行了比较。我们还对性能最佳的 LLM 进行了语言学和回归分析，以识别其响应中的质量问题以及影响其性能的因素。我们的研究结果表明：（1）现有的预训练 LLMs 在安全代码审查方面能力有限，但显著优于最先进的静态分析工具。（2）GPT-4 在提供 CWE 列表作为参考时，在所有 LLMs 中表现最佳。（3）GPT-4 经常生成冗长或不符合提示中给出的任务要求的响应。（4）GPT-4 更擅长识别代码文件中的安全缺陷，这些代码文件包含较少的标记、包含功能逻辑或由参与项目较少的开发人员编写。
大型语言模型 (LLM) 在各种现实应用中展现出自主完成任务的巨大潜力。尽管如此，这些 LLM 代理在交互环境中运行时会引入意想不到的安全风险。本工作没有像大多数先前研究那样关注 LLM 生成内容的无害性，而是着眼于在不同环境中评估 LLM 代理行为安全的必要性。我们介绍了 R-Judge，这是一个基准测试，旨在评估 LLM 在给定代理交互记录的情况下判断和识别安全风险的能力。R-Judge 包含 569 条多轮代理交互记录，涵盖 5 个应用类别和 10 种风险类型的 27 个关键风险场景。它经过高质量的策划，带有标注的安全标签和风险描述。对 R-Judge 上的 11 个 LLM 的评估表明，LLM 的风险意识还有很大的提升空间：表现最好的模型 GPT-4o 达到了 74.42%，而其他模型都没有显著超过随机水平。此外，我们发现开放式代理场景中的风险意识是一种涉及知识和推理的多维度能力，因此对 LLM 来说是一个挑战。通过进一步的实验，我们发现对安全判断进行微调可以显著提高模型性能，而简单的提示机制则失败了。R-Judge 在 https://github.com/Lordog/R-Judge 上公开提供。
大型语言模型 (LLMs) 在文本生成方面表现出色。然而，LLMs 仍然存在幻觉问题。在这项工作中，我们提出了一种推理时方法，即自我突出犹豫 (SH2)，以帮助 LLMs 更真实地解码。SH2 基于信息论的一个简单事实，即对于 LLM 而言，预测概率较低的标记往往比其他标记更具信息量。我们的分析表明，LLM 赋予较低概率的标记更有可能与事实信息密切相关，例如名词、专有名词和形容词。因此，我们建议通过选择概率最低的标记并将它们与原始上下文连接起来，来“突出”事实信息，从而迫使模型在生成之前反复阅读和犹豫这些标记。在解码过程中，我们还采用了对比解码来强调犹豫带来的输出概率差异。实验结果表明，我们的 SH2 不需要额外的數據或模型，可以有效地帮助 LLMs 提取事实知识并区分幻觉上下文。SH2 在多个幻觉任务上针对 LLaMA-7b、LLaMA2-7b 和 Mistral-7b 取得了显著且一致的改进。
作为一种新兴的 AI 技术套件，基础模型 (FM) 的出现为计算医疗保健带来了机遇。这些模型的交互性，在预训练数据和人类指令的引导下，点燃了以数据为中心的 AI 范式，该范式强调更好的数据特征、质量和规模。在医疗保健 AI 中，获取和处理高质量临床数据记录一直是一个长期挑战，从数据量、标注、患者隐私和伦理学等方面都有所体现。在本综述中，我们研究了 FM 时代 (从模型预训练到推理) 中广泛的数据中心方法，以改善医疗保健工作流程。我们讨论了 AI 安全、评估和与人类价值观一致的关键视角。最后，我们对基于 FM 的分析提供了乐观的展望，以在不断发展的医疗保健和医学领域中提高患者结果和临床工作流程的性能。我们在 https://github.com/Yunkun-Zhang/Data-Centric-FM-Healthcare 提供了最新的医疗保健相关基础模型和数据集列表。
本研究对机器学习训练机制和学习范式变化对计算能耗的影响进行了启发式评估，特别关注具有生命周期意识的高性能计算 (HPC) 硬件。虽然数据可用性的增加和高性能硬件的创新推动了复杂模型的训练，但也促使人们对能耗和碳排放的意识逐渐淡化。因此，本研究旨在提高人们对一般训练参数和流程的能耗影响的认识，从学习率、批次大小到知识迁移。在三个不同的硬件系统上评估了具有不同超参数配置的多种设置。在众多结果中，我们发现即使使用相同的模型和硬件来达到相同的精度，设置不当的训练超参数也会消耗最佳设置能耗的 5 倍。我们还广泛考察了学习范式（包括通过预训练回收知识和通过多任务训练共享知识）的节能优势。
近年来，使用多智能体强化学习 (MARL) 模拟行人得到了广泛研究。本研究考虑了网格世界环境中的道路，并将行人作为使用回声状态网络和最小二乘策略迭代方法的 MARL 智能体进行实现。在这种环境下，研究了这些智能体学习避开其他智能体并向前移动的能力。具体来说，我们考虑了两种类型的任务：在狭窄的直线路线和宽阔的绕行路线之间进行选择，以及走廊中双向行人流。模拟结果表明，当智能体密度不高时，学习是成功的。
我们提出了一种非参数统计检验方法，用于根据代理在重复策略形式博弈中的游戏样本，判断代理是否遵循给定的混合策略。这包括两个部分：确定代理的纯策略频率是否足够接近目标频率，以及确定在不同游戏迭代之间选择的纯策略是否独立。我们的综合检验包括对第一部分应用卡方拟合优度检验，对第二部分应用广义 Wald-Wolfowitz 游程检验。使用 Bonferroni 校正将来自两个检验的结果组合起来，以产生给定显著性水平 $\alpha$ 的完整检验。我们将该检验应用于公开的人类石头剪刀布游戏数据。该数据包含 500 名人类玩家的 50 次游戏迭代。我们使用零假设进行检验，即玩家在每次游戏迭代中独立地遵循均匀随机策略。使用 0.05 的显著性水平，我们得出结论：305（61%）的受试者遵循目标策略。
具有 ReLU 激活的神经网络可以被视为分段线性函数的组合。对于这类网络，在输入域上表达的不同线性区域的数量可能随着深度呈指数增长，但在初始参数随机选择时，这种情况并不预期发生。因此，即使在逼近简单函数时，随机初始化的模型也往往过大。为了解决这个问题，我们提出了一种新颖的训练策略：我们首先以一种强制网络表现出指数于深度的线性区域数量的方式重新参数化网络权重。首先使用我们推导出的参数进行训练，可以提供一个初始解，然后可以通过直接更新底层模型权重来对其进行细化。这种方法使我们能够学习凸的一维函数的近似值，这些近似值的精度比随机初始化的对应函数高几个数量级。我们进一步展示了如何将我们的方法扩展到多维和非凸函数，并观察到类似的优势。
提示是人类与大型语言模型 (LLM) 交互的主要方式。商业 AI 系统通常在系统提示中定义 LLM 的作用。例如，ChatGPT 使用“你是一个乐于助人的助手”作为其默认系统提示的一部分。尽管目前在系统提示中添加角色的做法很普遍，但不同角色如何影响模型在客观任务上的表现仍然不清楚。在本研究中，我们对系统提示中的角色进行了系统评估。我们整理了一个包含 162 个角色的列表，涵盖 6 种人际关系类型和 8 个专业领域。通过对 4 个流行的 LLM 家族和 2,410 个事实问题的广泛分析，我们证明了与没有添加角色的控制设置相比，在系统提示中添加角色不会提高模型在各种问题上的性能。然而，进一步的分析表明，角色的性别、类型和领域都会影响最终的预测准确性。我们还对一组角色搜索策略进行了实验，发现虽然聚合每个问题的最佳角色的结果会显著提高预测准确性，但自动识别最佳角色具有挑战性，预测结果通常不会比随机选择更好。总的来说，我们的研究结果表明，虽然添加角色可能会在某些情况下导致性能提升，但每个角色的影响在很大程度上可能是随机的。代码和数据可在 https://github.com/Jiaxin-Pei/Prompting-with-Social-Roles 获取。