该研究文章提出了一个变分推断的自联想记忆模型，可以结合感知推断和存储检索，通过将先验概率密度定义为于已存储的表达式依存，吸引后续推断流程向先前存储的表达式。通过比较一些变分自编码器和预测编码的方法，作者结合这些方法提出了新的自联想存储模型，并在 CIFAR10 和 CLEVR 图像数据集上进行了评估。同时，作者也将这些自联想存储模型与 Hopfield Networks、End-to-End Memory Networks 和 Neural Turing Machines 等其他联想存储模型进行了比较。

Oct, 2022

研究了一种关联记忆模型，建立了它与深度学习中神经网络的简单对应关系。这个模型可以存储并可靠地检索超过网络神经元数量的模式，可以应用到深度学习中的高次多项式的激活函数，实现或改进手写数字字符识别等任务。

Jun, 2016

本文提出了一种基于元学习的能量记忆模型，通过使用任意神经结构作为能量模型并快速将图案存储在其权重中，实现了对合成和自然数据的压缩记忆，并在重构误差和压缩率方面优于现有的记忆系统。

Oct, 2019

增加 Transformer 模型的大小并不总是导致性能提升，用经验缩放定律无法解释此现象。此外，模型记忆训练样本会改善泛化能力。我们提出了一个理论框架，揭示了基于 Transformer 的语言模型的记忆过程和性能动态。我们使用关联记忆的 Hopfield 网络来模拟 Transformer 的行为，使每个 Transformer 模块能够有效进行近似最近邻搜索。基于此，我们设计了一个能量函数，类似于现代连续 Hopfield 网络中的函数，对注意力机制提供了有见地的解释。利用最大化 - 最小化技术，我们构建了一个全局能量函数，捕捉了 Transformer 的层次结构。在特定条件下，我们证明了最小可达的交叉熵损失下界约为 1。通过对不同数据规模运行 GPT-2 实验证实了我们的理论结果，以及在一个包含 2M 令牌的数据集上训练 vanilla Transformers。

May, 2024

本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

Jul, 2021

本文提出了名为神经关联模型（NAM）的新深度学习方法，旨在用于人工智能中的概率推理。作者研究了两种 NAM 结构，即深度神经网络（DNN）和关系调制神经网络（RMNN），并在多个概率推理任务中证明了它们的有效性，包括识别文本蕴含，多关系知识库中的三元分类和常识推理。实验结果表明，这些模型可以显著优于传统的方法，并证明了它们在解决具有挑战性的 Winograd 模式（WS）问题方面的潜力。

Mar, 2016

使用 Willshaw Memory 模型和 Multiple-Modality 框架实现稀疏编码，能够储存和检索大量的现实数据，并且支持多模态同步存储与检索以及缺失模式进行推理，该框架可用于其他的学习任务。

Jul, 2022

提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

Aug, 2020

通过从动力系统和常微分方程的角度提供对扩散模型（DMs）的简明概述，揭示了高度相关但经常被忽视的能量驱动模型（AMs）概念的数学联系，并总结了 40 年来 AMs 的历史，讨论了 AMs 和 DMs 的相似性和差异性揭示的新的研究方向。

Sep, 2023

本研究使用 Dense Associative Memory 模型框架，证明了在能量函数中交互顶点的功率足够大的极限下，与带有 ReLUs 的 DNN 等效的带有更高阶交互的模型可以更接近于人类视觉感知，并且具有更好的抵御恶意对抗攻击的能力。

Jan, 2017