稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明稀疏性的优势和条件，并表明稀疏的现代 Hopfield 模型保持了其密集对应物的强大理论性能，包括快速固定点收敛和指数级的存储容量。在实验上，使用合成和真实数据集证明稀疏 Hopfield 模型在许多情况下优于其密集对应物。

Sep, 2023

我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

Apr, 2024

引入了一种新型的 Hopfield 神经网络，具有连续状态和相应的更新规则，可存储指数数量的模式，具有很小的检索误差。该网络可用作深度学习架构的一层，以允许存储和访问原始输入数据、中间结果或学习原型，并提供池化、记忆、关联和注意机制。

Jul, 2020

本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

Feb, 2022

STanHop-Net 是一种具有增强记忆能力的多变量时间序列预测模型，其核心是 STanHop，一种稀疏学习和存储时间和跨系列表示的 Hopfield 网络块。此外，STanHop 还包括两个外部记忆模块：Plug-and-Play 模块和 Tune-and-Play 模块，分别用于无需训练和任务感知的记忆增强。方法上，我们以层次化方式堆叠 STanHop 块来构建 STanHop-Net，实现具有分辨率特定稀疏性的多分辨率特征提取。在理论上，我们介绍了现代 Hopfield 模型的稀疏扩展（广义稀疏现代 Hopfield 模型），并表明相较于密集对应物，它提供了更紧致的记忆检索误差而不损失记忆容量。在实证上，我们验证了该框架在合成和真实世界环境中的有效性。

Dec, 2023

这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同，为记忆的理论神经科学和生成模型建立了强大的计算基础。

Sep, 2023

通过向 Hopfield 网络中添加集合连接并将这些连接嵌入到单纯复合体中，我们可以提高存储容量以优化注意力机制，并探讨记忆模式的可靠性。

May, 2023

通过使用可学习的特征映射，该研究提出了一种用于现代 Hopfield 模型的两阶段记忆检索动力学，称为 U-Hop，以增强记忆容量，并通过在内核空间中分离存储的内存模式来减少可能的亚稳态，从而提高了记忆容量和检索效果。

Apr, 2024

SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

Nov, 2023

本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

Jul, 2021