Jul, 2023

关于在设计用于解决命题可满足性问题的 Hopfield 网络中使用联想记忆的研究

PDF
TL;DR自优化模型结合海比学习规则、重复网络重置和编码网络中某个理想目标状态，以解决 SAT 问题中的组合问题，并展示了它在解决难题过程中可能出现的副作用和给人以启发。
发现论文，激发创造
  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 通过即时计算权重扩展自优化模型的规模

    本文介绍了以自我优化（SO）模型为基础的一种新颖实现，可应用于规模高出以往相当几个数量级的网络。通过我们的实时计算方法，消除了不切实际的计算成本，为研究规模更大、更多样化、更加复杂的自我组织现象铺平了道路。

    Nov, 2022

  • Hopfield 网络的鲁棒指数记忆

    通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

    Nov, 2014

  • 单纯赫普菲尔德网络

    通过向 Hopfield 网络中添加集合连接并将这些连接嵌入到单纯复合体中，我们可以提高存储容量以优化注意力机制，并探讨记忆模式的可靠性。

    May, 2023

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 带有种植模式的 Hopfield 模型：教师 - 学生自监督学习模型

    借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。

    Apr, 2023

  • 寻找分散的记忆：生成扩散模型是联想记忆网络

    这项研究将能量模型和 Hopfield 网络的理论神经科学相结合，表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中，实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同，为记忆的理论神经科学和生成模型建立了强大的计算基础。

    Sep, 2023

  • 长序列霍普菲尔德记忆

    通过引入非线性相互作用项扩增了模型的序列容量，提出了一种基于连续关联记忆的计算模型，验证了序列容量随网络规模的新的比例规律，并通过数值模拟验证了这些理论结果。此外，还引入了广义伪逆序列回忆规则，并将模型扩展到可以存储具有状态转换间隔变化的序列，提出了一种生物可信实现，与运动神经科学相关。

    Jun, 2023

  • 赫布规范 - 霍普菲尔德网络关联记忆的容量

    文中介绍了一种基于赫布学习规则的神经网络模型，并研究了模式检索和容量特性，使用完全升级随机对偶理论得到精确的容量特性，并展示了快速升级收敛的结果。

    Mar, 2024