稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明稀疏性的优势和条件，并表明稀疏的现代 Hopfield 模型保持了其密集对应物的强大理论性能，包括快速固定点收敛和指数级的存储容量。在实验上，使用合成和真实数据集证明稀疏 Hopfield 模型在许多情况下优于其密集对应物。

Sep, 2023

利用 Fenchel-Young 损失函数，我们提出了一种稀疏 Hopfield 网络的统一框架，该网络与 transformers 中的 attention 有关，通过端到端可微分的稀疏变换实现更新规则，进而揭示了损失边界、稀疏性和准确内存检索之间的联系。同时，我们通过 SparseMAP 变换将该框架进一步扩展到结构化 Hopfield 网络，能够检索模式关联而不是单个模式。多实例学习和文本理据化的实验证明了我们方法的有效性。

Feb, 2024

本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

Feb, 2022

这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同，为记忆的理论神经科学和生成模型建立了强大的计算基础。

Sep, 2023

调查现代 Hopfield 模型的内存检索动力学的计算限制，发现基于模式的范数的效率存在相变行为，仅在范数低于某个临界值时存在亚二次的高效模型；在此条件下进行内存模式的线性检索和输入查询序列的处理，证明了计算时间与存储模式数量和查询序列长度线性扩展的下界，并证明了其内存检索误差边界和指数级内存容量。

Feb, 2024

通过使用可学习的特征映射，该研究提出了一种用于现代 Hopfield 模型的两阶段记忆检索动力学，称为 U-Hop，以增强记忆容量，并通过在内核空间中分离存储的内存模式来减少可能的亚稳态，从而提高了记忆容量和检索效果。

Apr, 2024

借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。

Apr, 2023

引入了一种新型的 Hopfield 神经网络，具有连续状态和相应的更新规则，可存储指数数量的模式，具有很小的检索误差。该网络可用作深度学习架构的一层，以允许存储和访问原始输入数据、中间结果或学习原型，并提供池化、记忆、关联和注意机制。

Jul, 2020

提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

Aug, 2020

通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

Nov, 2014