本文介绍了一种名为 INNAprop 的优化算法，它结合了 INNA 方法和 RMSprop 自适应梯度缩放。该算法利用二阶信息和重新缩放，同时保持了 AdamW 或带动量的 SGD 等标准深度学习方法的内存需求。在回顾了我们的几何动机后，我们进行了相当广泛的实验。在图像分类（CIFAR-10、ImageNet）和语言建模（GPT-2）方面，INNAprop 在训练速度和准确性方面始终与 AdamW 相匹配或优于 AdamW，并且在大规模设置中只需要进行最少的超参数调整。我们的代码已在 \url{https://github.com/innaprop/innaprop} 公开发布。
我们能否检测图像中不可见的物体？本研究引入了二维和三维未观察物体检测的新任务，用于预测被遮挡或位于图像框架外的物体的定位。我们对几种最先进的预训练生成模型进行了调整以解决此任务，包括二维和三维扩散模型以及视觉-语言模型，并表明它们可用于推断未直接观察到的物体的存在。为了对该任务进行基准测试，我们提出了一套度量标准，以捕捉性能的不同方面。我们对来自 RealEstate10k 数据集的室内场景（使用 COCO 物体类别）进行的实证评估表明，结果证明了在未观察物体检测任务中使用生成模型的合理性。目前的工作为视觉搜索和概率规划等引人注目的应用迈出了有希望的一步，这些应用可以利用物体检测，而不仅仅局限于直接观察到的内容。
自然语言由单词构成，但现代大型语言模型 (LLM) 以子词作为输入进行处理。这种差异引出一个自然问题：LLM 是否在内部编码单词，如果是，它们是如何编码的？我们提供证据表明，LLM 参与了一种内在的去标记化过程，其中子词序列被组合成连贯的词表示。我们的实验表明，这个过程主要发生在模型的早期和中间层。它们还表明，它对非形态学分割、拼写错误以及可能重要的是 - 对词汇表外的单词具有鲁棒性：当将这些单词的内部表示作为输入向量馈送到模型时，它可以“理解”它们，尽管在训练期间从未见过它们。我们的发现表明，LLM 维护着超出标记器范围的潜在词汇表。这些见解为扩展预训练模型的词汇表提供了一种实用的、无需微调的应用。通过添加新的词汇表单词，我们减少了输入长度和推理迭代次数，从而降低了空间和模型延迟，而模型准确性几乎没有损失。
人工智能正在利用深度神经网络代理来改变科学计算，这些代理可以近似求解偏微分方程 (PDE)。传统的离线训练方法在存储和 I/O 效率方面面临挑战，因为训练数据集必须事先使用数值求解器进行计算。我们之前的工作，Melissa 框架，通过允许数据“即时”创建并直接流入训练过程来解决这些问题。在本文中，我们介绍了一种新的主动学习方法来提高在线代理训练的数据效率。代理是直接的且多参数的，即它被训练为直接预测给定时间步长，使用不同的初始和边界条件参数。我们的方法使用自适应多重要性采样，该采样由训练损失统计数据引导，以便将 NN 训练集中在参数空间的困难区域。二维热 PDE 的初步结果表明，这种名为 Breed 的方法有可能提高代理的泛化能力，同时减少计算开销。
本文通过模拟不同推理能力的说话者和听者之间的语言学习和对话，探索了可变的语用能力对交际成功的影响。通过研究这种互动，我们假设沟通伙伴之间推理水平的匹配将为交际成功和语言学习创造更有利的环境。我们的研究结果表明，无论学习者的语用能力水平如何，从更明确、更字面的语言中学习都是有利的。此外，我们发现，在语言学习过程中（不仅仅是在评估过程中）整合语用推理，可以显著提高整体沟通表现。本文提供了关键见解，强调了在优化沟通互动中对齐推理水平和整合语用推理的重要性。
大型语言模型（LLM）在许多自然语言处理任务中取代了传统方法。然而，在命名实体识别（NER）中，现有的基于 LLM 的方法...
越来越多的大学采用数据驱动策略来提升学生成功率，其中人工智能应用如学习分析（LA）和预测性学习分析（PLA）在识别高风险学生、个性化学习、支持教师以及指导教育决策方面发挥着关键作用。然而，人们越来越担心这些系统可能带来的潜在危害，例如算法偏差导致少数族裔学生获得不平等的支持。尽管许多人探讨了在 LA 中使用负责任人工智能的必要性，但现有研究往往缺乏关于机构如何将这些原则付诸实践的实用指南。在本文中，我们提出了一种专门针对高等教育（HE）中 LA 的新型负责任人工智能框架。我们首先将包括领先科技公司在内的 11 个已有的负责任人工智能框架映射到 HE 中 LA 的背景。这导致识别出七项关键原则，例如透明度、公平性和问责制。然后，我们对文献进行了系统性综述，以了解这些原则如何在实践中得到应用。根据这些发现，我们提出了一个新的框架，该框架为 HE 机构提供实用指南，并旨在随着社区输入而不断发展，以确保其相关性，因为 LA 系统不断发展。
多任务排序模型已成为现代现实世界推荐系统的核心。虽然大多数推荐研究集中于针对特定场景设计复杂的模型，但跨各种场景提高多任务排序模型的性能仍然是一个重大挑战。对所有任务进行简单训练会导致学习不一致，突出了开发多任务优化 (MTO) 方法以应对这一挑战的必要性。传统方法假设共享参数上的最佳联合梯度会导致最佳参数更新。然而，当使用基于动量的优化器（如 Adam）时，模型参数的实际更新可能会与梯度有很大偏差，我们设计并执行了统计实验来支持这一观察结果。在本文中，我们提出了一种用于多任务优化的新型参数更新平衡算法，称为 PUB。与基于梯度级任务融合或损失级任务融合的传统 MTO 方法相比，PUB 是第一个通过参数更新平衡来优化多个任务的工作。在基准多任务排序数据集上的综合实验表明，PUB 一致地改善了多个多任务骨干，并取得了最先进的性能。此外，在基准计算机视觉数据集上的实验表明，PUB 在各种多任务学习场景中具有巨大潜力。此外，我们在华为应用市场这一现实世界的商业平台上对我们的方法进行了工业评估，其中 PUB 显着增强了在线多任务排序模型，有效地管理了关键渠道的主要流量。
降水临近预报在社会经济领域，特别是强对流天气预警中发挥着至关重要的作用。尽管深度学习方法利用时空相关性取得了显著进展，但这些方法在预测时间延长时仍然存在严重的模糊性，阻碍了对极端降水的准确预测。为了减轻模糊性，研究人员探索了以模糊预测为条件的生成方法。然而，需要预先生成模糊预测及其对应的真实值对，这使得训练流程变得繁琐，并限制了生成模型在训练数据中出现的模糊模式下的通用性。通过重新思考降水临近预报中的模糊性，将其视为作用于预测的模糊核，我们提出了一种无监督后处理方法，无需使用模糊预测及其对应真实值对进行训练即可消除模糊性。具体来说，我们利用模糊预测来指导预训练的无条件去噪扩散概率模型 (DDPM) 的生成过程，以获得消除模糊的高保真预测。引入了零样本模糊核估计机制和自动缩放去噪引导策略，使无条件 DDPM 能够适应降水临近预报中来自数据集和预测时间变化的任何模糊模式。我们对 7 个降水雷达数据集进行了广泛的实验，证明了该方法的通用性和优越性。
近年来，检索增强生成 (RAG) 旨在通过整合从外部来源检索到的海量知识来增强大型语言模型 (LLM)。然而，这种方法面临着一些挑战：首先，原始查询可能不适合精确检索，导致上下文知识错误；其次，由于知识边界限制，语言模型很容易生成与外部参考不一致的答案。为了解决这些问题，我们提出了验证链 (CoV-RAG) 来增强外部检索的正确性和内部生成的连贯性。具体来说，我们将验证模块集成到 RAG 中，进行评分、判断和重写。为了纠正外部检索错误，CoV-RAG 使用修正后的查询检索新知识。为了纠正内部生成错误，我们在训练过程中使用思维链 (CoT) 推理将问答和验证任务统一起来。我们在各种 LLM 上进行的全面实验表明，与其他强大的基线相比，该方法是有效且适应性强的。特别是，我们的 CoV-RAG 可以使用不同的 LLM 主干显著超越最先进的基线。