Sep, 2023

稀疏现代 Hopfield 模型

PDF
TL;DR稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明稀疏性的优势和条件，并表明稀疏的现代 Hopfield 模型保持了其密集对应物的强大理论性能，包括快速固定点收敛和指数级的存储容量。在实验上，使用合成和真实数据集证明稀疏 Hopfield 模型在许多情况下优于其密集对应物。
发现论文，激发创造
  • 非参数化现代 Hopfield 模型

    我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

    Apr, 2024

  • 稀疏和结构化 Hopfield 网络

    利用 Fenchel-Young 损失函数，我们提出了一种稀疏 Hopfield 网络的统一框架，该网络与 transformers 中的 attention 有关，通过端到端可微分的稀疏变换实现更新规则，进而揭示了损失边界、稀疏性和准确内存检索之间的联系。同时，我们通过 SparseMAP 变换将该框架进一步扩展到结构化 Hopfield 网络，能够检索模式关联而不是单个模式。多实例学习和文本理据化的实验证明了我们方法的有效性。

    Feb, 2024

  • 现代 Hopfield 模型的统一内存检索与更大容量

    通过使用可学习的特征映射，该研究提出了一种用于现代 Hopfield 模型的两阶段记忆检索动力学，称为 U-Hop，以增强记忆容量，并通过在内核空间中分离存储的内存模式来减少可能的亚稳态，从而提高了记忆容量和检索效果。

    Apr, 2024

  • STanHop: 稀疏串行霍普菲尔德模型用于增强记忆的时间序列预测

    STanHop-Net 是一种具有增强记忆能力的多变量时间序列预测模型，其核心是 STanHop，一种稀疏学习和存储时间和跨系列表示的 Hopfield 网络块。此外，STanHop 还包括两个外部记忆模块：Plug-and-Play 模块和 Tune-and-Play 模块，分别用于无需训练和任务感知的记忆增强。方法上，我们以层次化方式堆叠 STanHop 块来构建 STanHop-Net，实现具有分辨率特定稀疏性的多分辨率特征提取。在理论上，我们介绍了现代 Hopfield 模型的稀疏扩展（广义稀疏现代 Hopfield 模型），并表明相较于密集对应物，它提供了更紧致的记忆检索误差而不损失记忆容量。在实证上，我们验证了该框架在合成和真实世界环境中的有效性。

    Dec, 2023

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022

  • 现代 Hopfield 模型的计算限制：一个细粒度复杂性分析

    调查现代 Hopfield 模型的内存检索动力学的计算限制，发现基于模式的范数的效率存在相变行为，仅在范数低于某个临界值时存在亚二次的高效模型；在此条件下进行内存模式的线性检索和输入查询序列的处理，证明了计算时间与存储模式数量和查询序列长度线性扩展的下界，并证明了其内存检索误差边界和指数级内存容量。

    Feb, 2024

  • 寻找分散的记忆：生成扩散模型是联想记忆网络

    这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同，为记忆的理论神经科学和生成模型建立了强大的计算基础。

    Sep, 2023

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 用于大型基于 Transformer 的模型的高效离群层

    我们介绍了一种异常值高效的现代 Hopfield 模型（命名为 OutEffHop），并使用它来解决量化巨大的基于 Transformer 的模型中的异常值引起的挑战。

    Apr, 2024