大型语言模型 (LLM) 已经在许多自然语言处理任务中取代了传统方法。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法...
本文提出了一种新方法，以解决非平稳、部分可观察环境中不确定性决策下的在线时间记忆学习问题。提出的算法，分布式赫布时间记忆 (DHTM)，基于因子图形式和多组分神经元模型。DHTM 旨在捕捉顺序数据关系并对未来观察结果进行累积预测，形成后继特征 (SF)。受新皮层神经生理模型的启发，该算法利用分布式表示、稀疏转移矩阵和局部赫布式学习规则，克服了 RNN 和 HMM 等传统时间记忆算法的不稳定性和学习速度慢的问题。实验结果表明，在非平稳数据集的情况下，DHTM 的性能优于 LSTM 和受生物启发的 HMM 类算法 CSCG。我们的发现表明，DHTM 是一种很有前景的方法，可以解决动态环境中在线序列学习和规划的挑战。
我们引入了边缘化模型 (MAMs)，一种针对高维离散数据的新型生成模型家族。它们通过显式建模所有诱导的边缘分布，提供了可扩展且灵活的生成建模。边缘化模型能够通过神经网络的单次前向传递快速近似任意边缘概率，这克服了任意边缘推理模型（例如任何阶自回归模型）的主要限制。MAMs 还解决了在基于能量训练的背景下，针对高维问题训练任何阶生成模型时遇到的可扩展性瓶颈，其中目标是将学习到的分布与给定的期望概率（由非归一化对数概率函数，如能量或奖励函数指定）匹配。我们提出了基于“边缘化自一致性”概念的可扩展方法来学习边缘。我们在各种离散数据分布上证明了所提出模型的有效性，包括图像、文本、物理系统和分子，适用于最大似然和基于能量的训练设置。MAMs 在两种设置下评估边缘概率时实现了数量级的加速。对于基于能量的训练任务，MAMs 使得高维问题的任何阶生成建模能够超越以前方法的规模。代码可在 https://github.com/PrincetonLIPS/MaM 获取。
构建模型无关的群等变网络，例如 equitune（Basu 等人，2023b）及其推广（Kim 等人，2023），对于大型乘积群来说计算成本可能很高。我们通过提供针对两个相关问题的有效模型无关等变设计来解决这个问题：第一个问题是网络有多个输入，每个输入可能都有不同的群作用于它们；第二个问题是只有一个输入，但作用于它的群是一个大型乘积群。对于第一个设计，我们首先考虑一个线性模型，并刻画满足该约束的整个等变空间。这种刻画产生了一个不同通道之间的新型融合层，该层满足一个不变性-对称性 (IS) 约束，我们称之为 IS 层。然后，我们类似于 equitune，将此设计扩展到线性模型之外，包括等变层和 IS 层。我们还证明 IS 层是等变-对称函数的通用逼近器。受第一个设计的启发，我们使用 IS 属性的概念为作用于单个输入的大型乘积群设计了第二个有效的模型无关等变设计。对于第一个设计，我们在多图像分类上进行了实验，其中每个视图都独立地进行变换，例如旋转。我们发现等变模型对这种变换具有鲁棒性，并且在其他情况下表现出色。对于第二个设计，我们考虑了三个应用：SCAN 数据集上语言组合性到乘积群；GPT-2 中自然语言生成的公平性以解决交集性；以及 CLIP 的鲁棒零样本图像分类。总的来说，我们的方法简单且通用，与 equitune 及其变体相比具有竞争力，同时计算效率更高。
离线强化学习（RL）能够在没有主动交互的情况下进行策略学习，使其在自动驾驶任务中特别具有吸引力。Transformer 近期的成功启发了将离线 RL 视为序列建模，然而，这种方法在随机环境中存在缺陷，因为其错误地假设相同动作能够始终如一地实现相同目标。本文提出了一种名为 UNREST 的不确定性感知决策 Transformer，用于在不引入额外转换或复杂生成模型的情况下，在随机驾驶环境中进行规划。具体而言，UNREST 通过转换和回报之间的条件互信息来估计不确定性。通过发现驾驶环境的“不确定性累积”和“时间局部性”特性，我们将决策 Transformer 中的全局回报替换为受环境影响较小的截断回报，从而从动作的实际结果而不是环境转换中学习。我们还在推理时动态评估不确定性，以进行谨慎规划。大量实验表明，UNREST 在各种驾驶场景中表现出优异的性能，证明了我们的不确定性估计策略的强大功能。
大型语言模型（LLMs）如 ChatGPT 在根据人类指令生成响应方面展现出令人印象深刻的能力。然而，由于缺乏特定且深入的知识，它们在医疗领域的应用面临挑战。本研究提出了一种名为“增强型医疗教科书大型语言模型”（LLM-AMT）的系统，旨在提升 LLMs 在专业领域的熟练程度。LLM-AMT 使用即插即用模块将权威的医疗教科书整合到 LLMs 的框架中。这些模块包括查询增强器、混合教科书检索器和知识自我优化器。它们共同将权威的医学知识融入其中。此外，LLM 阅读器有助于上下文理解。我们在三个医疗问答任务上的实验结果表明，LLM-AMT 显着提升了响应质量，准确率提高了 11.6% 至 16.6%。值得注意的是，以 GPT-4-Turbo 作为基础模型，LLM-AMT 的性能超过了在海量医疗语料库上预训练的专业 Med-PaLM 2 模型 2-3%。我们发现，尽管规模小 100 倍，但医疗教科书作为检索语料库被证明比维基百科更有效地作为医疗领域的知识库，性能提升了 7.8%-13.7%。
我们依赖于自己的记忆来编码、存储和检索我们的经历。然而，记忆缺失可能会发生。通过使用增强现实头戴式显示器来捕获和保存以自我为中心的视频，一种通常被称为生活记录的做法，为实现记忆增强提供了一条有希望的途径。然而，由于生活记录产生的视频数据量巨大，而现有技术缺乏有效编码和存储如此大量数据的能力，因此带来了重大挑战。此外，从庞大的视频档案中检索特定信息需要大量的计算能力，进一步加剧了快速访问所需内容的任务难度。为了应对这些挑战，我们提出了一种记忆增强代理，它涉及利用自然语言编码视频数据并将其存储在向量数据库中。这种方法利用大型视觉语言模型的力量来执行语言编码过程。此外，我们建议使用大型语言模型来促进自然语言查询。我们的代理在使用 QA-Ego4D 数据集进行的广泛评估中取得了最先进的结果，BLEU 得分为 8.3，优于得分在 3.4 到 5.8 之间的传统机器学习模型。此外，我们进行了一项用户研究，参与者通过情景记忆和开放式问题与人类记忆增强代理进行互动。这项研究的结果表明，与人类参与者相比，代理在情景记忆任务上的回忆性能显著提高。结果还突出了代理的实际适用性和用户接受度。
大型语言模型 (LLM) 已取代传统方法，成为众多自然语言处理任务的首选。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法...
信息检索 (IR) 的性能评估通常使用固定文档集 (静态语料库) 进行。然而，在现实场景中，这种情况很少出现，需要检索的文档会不断更新和添加。本文重点研究生成式检索 (GR)，它将自回归语言模型应用于 IR 问题，并探索其在动态场景中的适应性和鲁棒性。我们还对计算和内存效率进行了广泛的评估，这是现实世界中部署处理庞大且不断变化的文档集合的 IR 系统的关键因素。我们在 StreamingQA 基准上的结果表明，与检索系统中常用的双编码器 (DE) 相比，GR 对不断变化的知识更具适应性 (4-11%)，在学习具有时间信息的知识方面更稳健，并且在推理 FLOPs (x2)、索引时间 (x6) 和存储占用 (x4) 方面更高效。我们的论文强调了 GR 在未来动态环境中用于实际 IR 系统的潜力。
超关系知识图谱最近被广泛研究，其中三元组与一组限定词相关联；限定词由关系和实体组成，为三元组提供辅助信息。虽然现有的超关系知识图谱嵌入方法假设实体是离散对象，但一些信息应该使用数值来表示，例如（J.R.R.，出生于，1892）。此外，三元组（J.R.R.，在...接受教育，牛津大学）可以与限定词相关联，例如（开始时间，1911）。本文提出了一种名为 HyNT 的统一框架，该框架学习包含数值文字的超关系知识图谱的表示，这些文字可以出现在三元组或限定词中。我们定义了一个上下文转换器和一个预测转换器，以学习基于三元组与其限定词之间的相关性以及数值信息的表示。通过学习三元组和限定词的紧凑表示并将它们输入到转换器中，我们降低了使用转换器的计算成本。使用 HyNT，除了预测超关系知识图谱中缺失的实体或关系之外，我们还可以预测缺失的数值。实验结果表明，HyNT 在真实世界数据集上的性能显著优于现有方法。