Jun, 2023

长序列霍普菲尔德记忆

PDF
TL;DR通过引入非线性相互作用项扩增了模型的序列容量，提出了一种基于连续关联记忆的计算模型，验证了序列容量随网络规模的新的比例规律，并通过数值模拟验证了这些理论结果。此外，还引入了广义伪逆序列回忆规则，并将模型扩展到可以存储具有状态转换间隔变化的序列，提出了一种生物可信实现，与运动神经科学相关。
发现论文，激发创造
  • 无监督神经网络模型的连续在线序列学习

    本文提出了分层时序记忆（HTM）的序列记忆，使用无监督的 Hebbian-like 学习规则可以连续学习大量变序列。 HTM 序列记忆能够处理多元序列及预测，还具有连续的在线学习、处理多元及多分支序列的能力、传感器噪声稳健性和容错性等优点，可应用于离散和连续序列预测、异常检测和序列分类等多领域。

    Dec, 2015

  • Hopfield 网络的鲁棒指数记忆

    通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

    Nov, 2014

  • 最小描述长度 Hopfield 网络

    关于现代霍普菲尔德网络（MHN），我们展示了大容量的记忆会削弱泛化机会，并提供了一种优化这种权衡的解决方案。该解决方案依赖于最小描述长度（MDL），在训练过程中确定存储哪些记忆以及存储多少记忆。

    Nov, 2023

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022

  • 序列生成和记忆的递归神经网络模型

    本文提出 Partial In-Network Training（PINning）方法，基于随机网络架构和少量的连接修改，实现突触交互和外部输入的协作而不是前馈或非对称连接，高效地产生神经序列和工作记忆，此方法能够匹配细胞分辨率成像数据，并暗示神经序列可能从较大结构的神经网络中学习而来。

    Mar, 2016

  • 量子 Hopfield 神经网络

    采用量子算法进行 Hopfield 网络的内容寻址存储，并将其应用于基因序列识别。

    Oct, 2017

  • Memoria: 人类类似序列处理的 Hebbian 记忆架构

    通过引入奇异值理论 (memory theory) 以增强神经网络的长期相关性，Memoria 在处理长文本和记忆力相关任务上显著优于传统的 Transformer 模型。

    Oct, 2023

  • 单纯赫普菲尔德网络

    通过向 Hopfield 网络中添加集合连接并将这些连接嵌入到单纯复合体中，我们可以提高存储容量以优化注意力机制，并探讨记忆模式的可靠性。

    May, 2023