机器“遗忘学习”，即从训练模型中删除关于“遗忘集”的知识，现有的技术可能代价高昂且不可行。我们提出了一种基于离散表示瓶颈的近乎无计算量的零样本遗忘学习技术。我们表明该技术可以有效地遗忘遗忘集，并且对模型在其余数据集上的性能造成微不足道的损害。我们使用三个数据集 CIFAR-10、CIFAR-100 和 LACUNA-100 对该技术在“类别遗忘学习”问题上的有效性进行了评估。我们将该技术与 SCRUB（一种使用知识蒸馏进行遗忘学习的最先进方法）进行了比较。在所有三个数据集上，该技术与 SCRUB 的性能相当，甚至更好，同时几乎没有计算成本。
强化学习 (RL) 是一种解决机器人操作任务的有前景的方法。然而，将 RL 算法直接应用于现实世界具有挑战性。一方面，RL 对数据要求很高，通常需要数百万次与环境的交互，这在现实场景中是不切实际的。另一方面，需要付出巨大的工程努力才能手动设计奖励函数。为了解决这些问题，我们在本文中利用基础模型。我们提出了具有基础先验的强化学习 (RLFP)，以利用来自策略、价值和成功奖励基础模型的指导和反馈。在这个框架内，我们引入了基础引导的演员-评论家 (FAC) 算法，该算法使具身代理能够通过自动奖励函数更有效地探索。我们框架的优点有三方面： (1) \textit{样本效率}; (2) \textit{最小且有效的奖励工程}; (3) \textit{对基础模型形式无关且对噪声先验具有鲁棒性}。我们的方法在真实机器人和模拟环境中各种操作任务中取得了显著的性能。在使用真实机器人的 5 个灵巧任务中，FAC 在一个小时的实时学习后平均成功率达到 86%。在模拟 Meta-world 中的 8 个任务中，FAC 在不到 10 万帧（约 1 小时训练）的情况下，在 7/8 个任务中实现了 100% 的成功率，优于使用手动设计的奖励在 100 万帧中进行基线方法。我们相信 RLFP 框架可以使未来的机器人能够在物理世界中自主地探索和学习更多任务。可视化和代码可在 \url{https://yewr.github.io/rlfp} 获取。
低光照图像的特点是照明不足，导致清晰度下降、颜色暗淡、细节减少。低光照图像增强是计算机视觉中一项重要的任务，旨在通过提高亮度、对比度和整体感知质量来解决这些问题，从而便于准确的分析和解释。本文介绍了一种名为卷积密集注意力引导网络 (CDAN) 的新方法，用于增强低光照图像。CDAN 集成了基于自动编码器的架构，包含卷积块和密集块，并辅以注意力机制和跳跃连接。这种架构确保了高效的信息传播和特征学习。此外，专门的后处理阶段可以改善色彩平衡和对比度。与低光照图像增强的最先进方法相比，我们的方法取得了显著进步，展示了其在各种挑战场景中的鲁棒性。我们的模型在基准数据集上表现出色，有效地缓解了曝光不足问题，并在各种低光照场景中出色地恢复了纹理和颜色。这一成果突出了 CDAN 在各种计算机视觉任务中的潜力，特别是在具有挑战性的低光照条件下，使鲁棒的目标检测和识别成为可能。
随着机器学习模型复杂度的不断提升，管理计算资源（如内存和处理能力）已成为一项关键问题。混合精度技术利用模型训练和推理过程中的不同数值精度来优化资源使用，已被广泛采用。然而，能够支持更低精度格式（如 FP8 或 FP4）的硬件访问仍然有限，尤其对于硬件受限的从业人员而言。对于许多资源有限的人来说，可用的选项仅限于使用 32 位、16 位或两者的组合。虽然普遍认为 16 位精度可以实现与全精度（32 位）相当的结果，但本研究首次通过严格的理论分析和广泛的实证评估系统地验证了这一假设。我们对浮点误差和分类容差的理论形式化提供了对 16 位精度可以在哪些条件下逼近 32 位结果的新见解。本研究填补了关键空白，首次证明了独立的 16 位精度神经网络在准确性方面与 32 位和混合精度相匹配，同时提升了计算速度。鉴于 16 位在 GPU 中的广泛可用性，这些发现对于硬件资源有限的机器学习从业人员来说尤为宝贵，可以帮助他们做出明智的决策。
现有的传统联邦学习 (FL) 激励解决方案侧重于对单个全局目标的个人贡献，而忽略了具有多个集群级模型的集群个性化的细微差别以及个性化模型吸引力等非货币激励。在本文中，我们首先提出将激励和个性化视为相互关联的挑战，并通过一种促进个性化学习的激励机制来解决它们。此外，当前方法依赖于聚合器进行客户聚类，这受到隐私限制导致无法访问客户机密信息的限制，从而导致聚类不准确。为了克服这个问题，我们建议直接让客户参与，允许客户根据数据分布和激励驱动的反馈来表明他们对集群成员资格的偏好。我们的方法增强了具有高质量数据的自我感知客户的个性化模型吸引力，从而导致他们积极且持续地参与。我们的评估表明，与现有的 FL 模型相比，包括那些解决数据异构性和个性化的模型，测试准确率 (8-45%)、个性化模型吸引力 (3-38%) 和参与率 (31-100%) 有显著提高。
我们研究了在扩展式博弈中寻找各种类型最优相关均衡的问题：范式粗相关均衡（NFCCE）、扩展式粗相关均衡（EFCCE）和扩展式相关均衡（EFCE）。我们做出了两个主要贡献。首先，我们引入了一种新的算法来计算所有三种概念的最优均衡。它的运行时间仅以与博弈信息结构相关的参数呈指数增长。我们还证明了一个基本的复杂性差距：虽然我们对 NFCCE 的大小界限与 Zhang 等人团队博弈情况下取得的界限相似，但在标准复杂性假设下，对其他两个概念无法实现这一点。其次，我们提出了一种双边列生成方法，用于在先前算法的运行时间或内存使用量过大时使用。我们的算法通过对相关策略的新分解改进 Farina 等人的单边方法，该分解允许玩家根据先前添加到支持中的相关计划重新优化其序列形式策略。实验表明，我们的技术优于计算最优一般和相关均衡的先前技术水平。
许多机器学习、认知/脑科学和社会领域中提出的神经网络应用都依赖于通过电路发现实现内在可解释性的可行性。这需要对可行的算法选项进行实证和理论探索。尽管在启发式算法的设计和测试方面取得了进展，但人们仍然担心其在可扩展性和忠实性方面的局限性，尤其是在我们缺乏对它们所部署的解决问题的复杂性特性的理解的情况下。为了解决这个问题，我们利用经典和参数化计算复杂性理论研究电路发现：(1) 我们描述了一个概念性框架，用于根据描述、解释、预测和控制的可能性来推理电路查找查询；(2) 我们正式化了一套全面的查询，这些查询捕捉了机制解释，并提出了一个用于分析它们的正式框架；(3) 我们利用它来确定许多查询变体和实际感兴趣的多层感知器（例如，变压器的一部分）的复杂性。我们的发现揭示了一个具有挑战性的复杂性景观。许多查询是难以处理的（NP-hard，$\Sigma^p_2$-hard），在约束模型/电路特征（例如，深度）时仍然是固定参数难以处理的（W[1]-hard），并且在加法、乘法和概率近似方案下是不可近似的。为了应对这种复杂性，我们证明存在一些转换可以利用更好的理解的启发式算法来解决这些难题（NP- vs. $\Sigma^p_2$-complete），并证明更简单的查询的可处理性（PTIME）或固定参数可处理性（FPT），这些查询保留了有用的可能性。这个框架使我们能够理解可解释性查询的范围和局限性，探索可行的选项，并比较现有和未来架构之间资源需求。
认知架构是我们在开发人工认知方面的研究前沿。然而，它们从分离的记忆和程序计算模型来解决这个问题。这种计算模型提出了一个基本问题：知识检索启发式。本文提出了一种新的计算模型来解决这个问题，该模型将记忆和程序统一起来：函数表示。我们提出了一种基于实现和使用这些函数表示的新计算模型，并通过数学定义和证明探索了它的潜力。我们还讨论了组织多个函数表示的不同方法，并探索了这些函数表示可以实现的函数类型。最后，我们还探讨了我们提议的局限性。
我们所遇到的物体在与之交互时往往会改变外观。光照（阴影）、物体姿态或非刚性物体的运动都会极大地改变可用的图像特征。生物视觉系统是如何在物体改变时跟踪它们的？这可能涉及到特定的注意力机制，用于推理物体的空间位置，而与它们的外观无关——这种能力与神经同步计算相关，并且得到了神经科学领域杰出理论的支持。我们通过计算方法检验了这样一个假设：通过神经同步实现的视觉注意力是生物视觉系统跟踪随时间变化外观的物体能力的基础。我们首先介绍了一种新型深度学习电路，它可以通过神经同步来学习精确地控制对特征的注意力，而与它们在世界中的位置无关：复值循环神经网络（CV-RNN）。接下来，我们使用 FeatureTracker 对人类、CV-RNN 和其他深度神经网络（DNN）进行物体跟踪比较。FeatureTracker 是一项大规模挑战，要求观察者在精确控制的条件下，跟踪物体的位置和外观发生变化。虽然人类毫不费力地解决了 FeatureTracker，但最先进的 DNN 却无法做到。相比之下，我们的 CV-RNN 在这项挑战中表现与人类类似，为相位同步作为跟踪外观变化物体运动的神经基质提供了计算上的概念证明。
随着世界数字化进程的加速，能够自动化复杂和重复性任务的网络代理正变得越来越重要，它们在简化工作流程方面发挥着至关重要的作用。本文提出了一种通过多模态验证和自优化来提升网络代理性能的方法。基于最先进的 Agent-E 网络自动化框架，我们对不同模态（文本、视觉）以及层次结构对网络代理自动验证的影响进行了全面研究。我们还引入了利用开发的自动验证器进行网络自动化的自优化机制，使网络代理能够检测和自我纠正工作流程错误。我们的结果表明，在 WebVoyager 基准测试子集上，Agent-E（一种最先进的网络代理）的先前最先进性能得到了显著提升，任务完成率从 76.2% 提升至 81.24%。本文提出的方法为在复杂现实世界场景中构建更加可靠的数字助理铺平了道路。