本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

Feb, 2022

本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

Jul, 2021

提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

Aug, 2020

通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

Nov, 2014

我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

Apr, 2024

通过向 Hopfield 网络中添加集合连接并将这些连接嵌入到单纯复合体中，我们可以提高存储容量以优化注意力机制，并探讨记忆模式的可靠性。

May, 2023

引入了一种新型的 Hopfield 神经网络，具有连续状态和相应的更新规则，可存储指数数量的模式，具有很小的检索误差。该网络可用作深度学习架构的一层，以允许存储和访问原始输入数据、中间结果或学习原型，并提供池化、记忆、关联和注意机制。

Jul, 2020

本文提出了一种基于元学习的能量记忆模型，通过使用任意神经结构作为能量模型并快速将图案存储在其权重中，实现了对合成和自然数据的压缩记忆，并在重构误差和压缩率方面优于现有的记忆系统。

Oct, 2019

利用 Fenchel-Young 损失函数，我们提出了一种稀疏 Hopfield 网络的统一框架，该网络与 transformers 中的 attention 有关，通过端到端可微分的稀疏变换实现更新规则，进而揭示了损失边界、稀疏性和准确内存检索之间的联系。同时，我们通过 SparseMAP 变换将该框架进一步扩展到结构化 Hopfield 网络，能够检索模式关联而不是单个模式。多实例学习和文本理据化的实验证明了我们方法的有效性。

Feb, 2024

Bayesian 脑理论探讨了大脑采用生成模型来理解外界世界。本研究提出了分层指数族能量模型（HEE 模型），用于捕捉推断和学习的动态。通过将分区函数分解为个别层，并利用一组具有较短时间常数的神经元来采样分解归一化项的梯度，我们的模型能够同时估计分区函数并执行推断，避免了常规能量模型中遇到的负相位问题。此外，我们展示神经适应可以作为动量项，显著加快推断过程，以适应大脑的快速计算。在自然图像数据集上，我们的模型展示出与生物视觉系统中观察到的相似表示。此外，对于机器学习社区，我们的模型可以通过联合或边缘生成产生观测数据。我们表明边缘生成优于联合生成，并且与其他能量模型的表现相当。

Oct, 2023