Feb, 2024

现代 Hopfield 模型的计算限制：一个细粒度复杂性分析

PDF
TL;DR调查现代 Hopfield 模型的内存检索动力学的计算限制，发现基于模式的范数的效率存在相变行为，仅在范数低于某个临界值时存在亚二次的高效模型；在此条件下进行内存模式的线性检索和输入查询序列的处理，证明了计算时间与存储模式数量和查询序列长度线性扩展的下界，并证明了其内存检索误差边界和指数级内存容量。
发现论文，激发创造
  • 非参数化现代 Hopfield 模型

    我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

    Apr, 2024

  • 现代 Hopfield 模型的统一内存检索与更大容量

    通过使用可学习的特征映射，该研究提出了一种用于现代 Hopfield 模型的两阶段记忆检索动力学，称为 U-Hop，以增强记忆容量，并通过在内核空间中分离存储的内存模式来减少可能的亚稳态，从而提高了记忆容量和检索效果。

    Apr, 2024

  • 量子 Hopfield 神经网络

    采用量子算法进行 Hopfield 网络的内容寻址存储，并将其应用于基因序列识别。

    Oct, 2017

  • 随机图上的小霍普菲尔德模型

    研究了 Hopfield 模型在随机图中的缩放规律下，当每个神经元的平均连接数为有限数时，并且自旋动力学由微观更新规则的同步执行（Little-Hopfield 模型）所支配。该模型在复制对称性的范围内得到了解决，通过分岔分析证明了我们相图的自旋玻璃 / 顺磁和检索 / 顺磁转换线与顺序动力学的转换线相同。

    Sep, 2003

  • 具有大容量存储的联想记忆模型

    该论文使用多项式交互函数推广了著名的 Hopfield 模型，证明了该模型的存储能力随多项式次数增加呈指数级增长，并且具有与标准 Hopfield 模型几乎相等的吸引域大小。

    Feb, 2017

  • 稀疏现代 Hopfield 模型

    稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明稀疏性的优势和条件，并表明稀疏的现代 Hopfield 模型保持了其密集对应物的强大理论性能，包括快速固定点收敛和指数级的存储容量。在实验上，使用合成和真实数据集证明稀疏 Hopfield 模型在许多情况下优于其密集对应物。

    Sep, 2023

  • Hopfield 网络的鲁棒指数记忆

    通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

    Nov, 2014

  • 使用最小概率流实现高效优化的二进制 Hopfield 联想记忆存储

    该研究论文提出了使用最小概率流算法将二进制记忆存储在 Hopfield 神经网络中的算法，并在处理带噪音数据时比传统方法的速度和存储恢复表现更优秀。

    Apr, 2012

  • 赫布规范 - 霍普菲尔德网络关联记忆的容量

    文中介绍了一种基于赫布学习规则的神经网络模型，并研究了模式检索和容量特性，使用完全升级随机对偶理论得到精确的容量特性，并展示了快速升级收敛的结果。

    Mar, 2024

  • 长序列霍普菲尔德记忆

    通过引入非线性相互作用项扩增了模型的序列容量，提出了一种基于连续关联记忆的计算模型，验证了序列容量随网络规模的新的比例规律，并通过数值模拟验证了这些理论结果。此外，还引入了广义伪逆序列回忆规则，并将模型扩展到可以存储具有状态转换间隔变化的序列，提出了一种生物可信实现，与运动神经科学相关。

    Jun, 2023