LLM2D
现代霍普菲尔德网络与编码神经表征的结合:应对实际问题
Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
作者: Satyananda Kashyap, Niharika S. D'Souza, Luyao Shi, Ken C. L. Wong, Hongzhi Wang, Tanveer Syeda-Mahmood
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.16408v1

摘要

近年来,现代霍普菲尔德网络(MHN)等内容寻址记忆被用作人类陈述性记忆的自动关联和存储/检索的数学模型,但它们在大规模内容存储方面的实际应用面临挑战。其中最主要的是亚稳态的出现,尤其是在处理大量高维内容时。本文介绍了霍普菲尔德编码网络(HEN),它将编码的神经表示集成到 MHN 中,以提高模式可分离性并减少亚稳态。我们表明 HEN 也可以用于图像与自然语言查询的异关联检索,从而消除了需要访问同一域中部分内容的限制。实验结果表明,亚稳态数量显著减少,存储容量增加,同时仍然能够完美地召回数量显著更大的输入,从而提高了联想记忆网络在现实世界任务中的实用性。