NIPSApr, 2012

使用最小概率流实现高效优化的二进制 Hopfield 联想记忆存储

PDF
TL;DR该研究论文提出了使用最小概率流算法将二进制记忆存储在 Hopfield 神经网络中的算法，并在处理带噪音数据时比传统方法的速度和存储恢复表现更优秀。
发现论文，激发创造
  • Hopfield 网络的鲁棒指数记忆

    通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

    Nov, 2014

  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 带有种植模式的 Hopfield 模型：教师 - 学生自监督学习模型

    借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。

    Apr, 2023

  • Hopfield 网络是您所需的全部

    引入了一种新型的 Hopfield 神经网络，具有连续状态和相应的更新规则，可存储指数数量的模式，具有很小的检索误差。该网络可用作深度学习架构的一层，以允许存储和访问原始输入数据、中间结果或学习原型，并提供池化、记忆、关联和注意机制。

    Jul, 2020

  • 现代 Hopfield 模型的计算限制：一个细粒度复杂性分析

    调查现代 Hopfield 模型的内存检索动力学的计算限制，发现基于模式的范数的效率存在相变行为，仅在范数低于某个临界值时存在亚二次的高效模型；在此条件下进行内存模式的线性检索和输入查询序列的处理，证明了计算时间与存储模式数量和查询序列长度线性扩展的下界，并证明了其内存检索误差边界和指数级内存容量。

    Feb, 2024

  • 最小描述长度 Hopfield 网络

    关于现代霍普菲尔德网络（MHN），我们展示了大容量的记忆会削弱泛化机会，并提供了一种优化这种权衡的解决方案。该解决方案依赖于最小描述长度（MDL），在训练过程中确定存储哪些记忆以及存储多少记忆。

    Nov, 2023

  • 量子 Hopfield 神经网络

    采用量子算法进行 Hopfield 网络的内容寻址存储，并将其应用于基因序列识别。

    Oct, 2017

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 非参数化现代 Hopfield 模型

    我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

    Apr, 2024

  • 寻找分散的记忆：生成扩散模型是联想记忆网络

    这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同，为记忆的理论神经科学和生成模型建立了强大的计算基础。

    Sep, 2023