大型语言模型 (LLMs) 已取代传统方法，应用于众多自然语言处理任务。然而，在命名实体识别 (NER) 中，现有的基于 LLMs 的方法...
随着车辆数量的急剧增长，停车难问题已成为许多城市迫切需要解决的难题。在预测大规模城市停车数据方面，现有研究往往缺乏有效的深度学习模型和策略。为了应对这一挑战，本文提出了一种利用实时服务能力预测大规模城市停车图的创新框架，旨在提高停车预测的准确性和效率。具体而言，我们引入了一种图注意力机制，评估停车场的实时服务能力，构建一个动态停车图，准确反映停车行为的真实偏好。为了有效处理大规模停车数据，本研究将图粗化技术与时间卷积自编码器相结合，实现复杂城市停车图结构和特征的统一降维。随后，我们使用时空图卷积模型根据粗化后的图进行预测，并使用预训练的自编码器-解码器模块将预测结果恢复到原始数据维度，完成任务。我们的方法已在深圳停车场真实数据集上进行了严格测试。实验结果表明，与传统的停车预测模型相比，我们的框架在准确性和效率方面分别提高了 46.8% 和 30.5%。值得注意的是，随着图规模的扩大，我们框架的优势更加明显，展现出其在解决实际场景中复杂城市停车难题的巨大潜力。
本文提出了一种用于年龄估计、验证和比较的综合模型，为广泛的应用提供了全面的解决方案。该模型采用先进的学习技术来理解年龄分布，并使用置信度分数来创建概率年龄范围，从而增强其处理模糊情况的能力。该模型已在专有数据集和公共数据集上进行了测试，并与该领域中表现最佳的模型之一进行了比较。此外，它最近在 NIST 的 FATE 挑战赛中接受评估，在许多类别中取得了领先地位。
大型语言模型（LLMs）在各种任务中展现出非凡的性能。然而，LLMs 中的令牌嵌入是否最适合使用默认的欧几里得空间，这个问题仍然悬而未决。在本研究中，我们首先探究了 LLMs 的非欧几里得特性。我们的发现表明，令牌频率遵循幂律分布，高频令牌聚集在原点附近，而低频令牌则位于更远的位置。此外，令牌嵌入表现出高度的双曲性，表明嵌入空间中存在潜在的树状结构。基于这一观察，我们建议在双曲空间中高效地微调 LLMs，以更好地利用底层复杂结构。然而，我们发现，当嵌入矩阵和权重矩阵都位于欧几里得空间时，这种在双曲空间中的微调无法通过简单地应用指数和对数映射来实现。为了解决这一技术问题，我们引入了一种名为双曲低秩高效微调（HypLoRA）的新方法，该方法直接在双曲流形上进行低秩自适应，避免了由指数和对数映射引起的抵消效应，从而保留了双曲建模能力。通过大量的实验，我们证明了 HypLoRA 显着提高了 LLMs 在推理任务上的性能，特别是对于复杂的推理问题。特别是，HypLoRA 在复杂的 AQuA 数据集上将性能提高了高达 13.0%，展示了它在处理复杂推理挑战方面的有效性。
用于辅助记者工作的计算方法通常需要将模型适应特定领域并生成解释。然而，大多数自动事实核查方法依赖于三类数据集，这些数据集无法准确反映现实世界中的错误信息。此外，事实核查解释通常基于证据的文本摘要生成，无法解决断言与证据之间的关系。为了解决这些问题，我们将通常用于自然语言推理 (NLI) 任务的自理性方法扩展到事实验证。我们提出了一种标签自适应学习方法：首先，我们微调模型以学习带注释标签的真实性预测（步骤 1 模型）。然后，我们再次微调步骤 1 模型以学习自理性，使用相同的数据和额外的带注释解释。我们的结果表明，我们的标签自适应方法在 PubHealth 和 AVeriTec 数据集上将真实性预测提高了十多个百分点（宏观 F1），优于 GPT-4 模型。此外，为了解决解释标注成本过高的问题，我们从三个大型语言模型生成了 64 个合成解释：GPT-4-turbo、GPT-3.5-turbo 和 Llama-3-8B，并对我们的步骤 1 模型进行了少量样本微调。少量样本合成解释微调模型的性能与完全微调的自理性模型相当，证明了使用合成数据的低成本学习的潜力。我们的标签自适应自理性方法为未来使用不同标签方案进行现实世界可解释事实核查的研究提供了一个有希望的方向。
我们引入了稀疏物理信息反向传播 (SPInProp)，这是一种新的方法类别，用于加速针对一种称为低秩神经表示 (LRNR) 的专用神经网络架构的反向传播。该方法利用 LRNR 中的低秩结构，构建了一个尺寸更小的简化神经网络近似。我们将较小的网络称为 FastLRNR。我们证明了 FastLRNR 的反向传播可以替代 LRNR 的反向传播，从而显著降低了复杂性。我们将 SPInProp 应用于物理信息神经网络框架，并展示了如何加速参数化偏微分方程的求解。
**服装更换行人重识别 (CC-ReID) 涉及识别图像中的人物，无论其穿着状态如何。** 本文通过实证和实验表明，完全消除或完全保留服装特征对任务不利。现有的工作，无论是依赖服装标签、轮廓还是其他辅助数据，其根本目标都是平衡服装和身份特征的学习。然而，我们实际上发现，实现这种平衡具有挑战性和细微差别。在本研究中，我们引入了一个名为“多样性规范”的新模块，该模块将个人特征扩展到正交空间，并使用通道注意力来分离服装和身份特征。还引入了一种样本重新加权优化策略，以保证相反的优化方向。多样性规范提出了一种简单而有效的方法，不需要额外的数据。此外，多样性规范可以无缝集成到 ResNet50 中，并显著优于最先进的方法。
从多个数据源聚合数据的一个常见挑战可以形式化为一个 *最优传输* (OT) 重心问题，该问题旨在计算概率分布关于 OT 差异的平均值。然而，数据度量中异常值和噪声的存在会严重阻碍传统统计方法估计 OT 重心的性能。为了解决这个问题，我们提出了一种新颖的可扩展方法来估计 *鲁棒* 连续重心，利用 *（半）不平衡* OT 问题的对偶公式。据我们所知，本文首次尝试在连续分布设置下开发鲁棒重心算法。我们的方法被构建为一个 $\min$-$\max$ 优化问题，并且适应于 *一般* 成本函数。我们严格建立了所提出方法的理论基础，并通过大量说明性实验证明了其对异常值和类不平衡的鲁棒性。
解码策略在现代语言模型的文本生成中起着至关重要的作用，然而理论与实践之间存在令人费解的差距。令人惊讶的是，直观上应该是最优的策略，例如最大后验概率 (MAP)，在实践中往往表现不佳。与此同时，流行的启发式方法，如 Top-$k$ 和 Nucleus 采样，它们利用条件下一个词概率的截断和归一化，在经验上取得了巨大成功，但缺乏理论依据。在本文中，我们提出了解码游戏，一个全面的理论框架，它将文本生成重新构想为一个两人零和博弈，博弈双方分别是策略者，他试图生成在真实分布中可信的文本，以及自然，它以对抗的方式扭曲真实分布。在讨论多步生成的分解性之后，我们推导出一步解码游戏的闭式最优策略。结果表明，对抗性的自然对似然最大化施加了隐式正则化，而截断-归一化方法是这种正则化下最优策略的一阶近似。此外，通过泛化解码游戏的目标和参数，近似最优策略涵盖了各种方法，如贪婪搜索、温度缩放以及它们的混合。进行了数值实验以补充我们的理论分析。
基础语言模型（FLMs）如 BERT 及其变体在自然语言处理方面取得了显著成功。迄今为止，对 FLMs 的可解释性主要依赖于其自注意力层中的注意力权重。然而，这些注意力权重仅提供词级解释，无法捕捉到更高层次的结构，因此缺乏可读性和直观性。为了应对这一挑战，我们首先对概念解释进行了形式化定义，然后提出了一种变分贝叶斯框架，称为 VAriational Language Concept (VALC)，以超越词级解释并提供概念级解释。我们的理论分析表明，我们的 VALC 找到了解释 FLM 预测的最佳语言概念。在几个真实世界数据集上的实证结果表明，我们的方法可以成功地为 FLMs 提供概念解释。