Nov, 2014

Hopfield 网络的鲁棒指数记忆

PDF
TL;DR通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。
hopfield recurrent neural networkprobability flowexponential storageshannon's channel capacity boundhidden clique problem
发现论文，激发创造
  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 寻找分散的记忆：生成扩散模型是联想记忆网络

    这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同，为记忆的理论神经科学和生成模型建立了强大的计算基础。

    Sep, 2023

  • 具有大容量存储的联想记忆模型

    该论文使用多项式交互函数推广了著名的 Hopfield 模型，证明了该模型的存储能力随多项式次数增加呈指数级增长，并且具有与标准 Hopfield 模型几乎相等的吸引域大小。

    Feb, 2017

  • 单纯赫普菲尔德网络

    通过向 Hopfield 网络中添加集合连接并将这些连接嵌入到单纯复合体中，我们可以提高存储容量以优化注意力机制，并探讨记忆模式的可靠性。

    May, 2023

  • 长序列霍普菲尔德记忆

    通过引入非线性相互作用项扩增了模型的序列容量，提出了一种基于连续关联记忆的计算模型，验证了序列容量随网络规模的新的比例规律，并通过数值模拟验证了这些理论结果。此外，还引入了广义伪逆序列回忆规则，并将模型扩展到可以存储具有状态转换间隔变化的序列，提出了一种生物可信实现，与运动神经科学相关。

    Jun, 2023

  • 量子 Hopfield 神经网络

    采用量子算法进行 Hopfield 网络的内容寻址存储，并将其应用于基因序列识别。

    Oct, 2017

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022

  • 使用最小概率流实现高效优化的二进制 Hopfield 联想记忆存储

    该研究论文提出了使用最小概率流算法将二进制记忆存储在 Hopfield 神经网络中的算法，并在处理带噪音数据时比传统方法的速度和存储恢复表现更优秀。

    Apr, 2012

  • 关于在设计用于解决命题可满足性问题的 Hopfield 网络中使用联想记忆的研究

    自优化模型结合海比学习规则、重复网络重置和编码网络中某个理想目标状态，以解决 SAT 问题中的组合问题，并展示了它在解决难题过程中可能出现的副作用和给人以启发。

    Jul, 2023