LLM2D
修正后的拉格朗日乘子在现代霍普菲尔德网络中的异常分布检测
Rectified Lagrangian for Out-of-Distribution Detection in Modern Hopfield Networks
作者: Ryo Moriai, Nakamasa Inoue, Masayuki Tanaka, Rei Kawakami, Satoshi Ikehata, Ikuro Sato
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2502.14003v1

摘要

arXiv:2502.14003v1 消息类型: cross 摘要:现代霍普菲尔德网络(MHNs)最近在人工智能领域引起了广泛关注,因为它们能够存储和检索大量模式,具有指数级大的存储容量。一个MHN通常是一个由记忆神经元和特征神经元的拉格朗日量定义的动力系统,其中与同分布(ID)样本相关联的记忆在特征空间中表示为吸引子。现有MHN中存在一个主要问题,即管理异分布(OOD)样本,因为最初假设所有样本都是ID样本。为了解决这一问题,我们提出了修正拉格朗日(RegLag),这是一种新的记忆神经元的拉格朗日量,它在MHN的动力系统中明确包含了OOD样本的吸引子。RecLag对于任何交互矩阵来说都会创建一个平凡的点吸引子,通过识别落入该吸引子的样本作为OOD,实现OOD检测。交互矩阵通过优化概率密度估计来识别ID和OOD。我们展示了基于RecLag的MHN与基于能量的OOD检测方法(包括最先进的霍普菲尔德能量方法)在九个图像数据集上的有效性比较。