本文提出了一个新颖的通用框架,可以将各种神经网络进行相似性、分离性和投影性等方面的比较,研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理,并发现在很多任务中,采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势,将使检索更加稳健、记忆容量更大。
Feb, 2022
提出了一种微观理论,其中只需两体相互作用,就可以有效地描述大型关联内存,具有一定的生物可信度,并实现了能量最小化的动力学。
Aug, 2020
本文描述了一种完全反馈的关联记忆模型,具有任意数量的层,其中一些层可以是局部连接的(卷积),以及相应的能量函数,该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈,以帮助较低层神经元决定它们对输入刺激的响应。
Jul, 2021
通过引入非线性相互作用项扩增了模型的序列容量,提出了一种基于连续关联记忆的计算模型,验证了序列容量随网络规模的新的比例规律,并通过数值模拟验证了这些理论结果。此外,还引入了广义伪逆序列回忆规则,并将模型扩展到可以存储具有状态转换间隔变化的序列,提出了一种生物可信实现,与运动神经科学相关。
Jun, 2023
引入了一种新型的 Hopfield 神经网络,具有连续状态和相应的更新规则,可存储指数数量的模式,具有很小的检索误差。该网络可用作深度学习架构的一层,以允许存储和访问原始输入数据、中间结果或学习原型,并提供池化、记忆、关联和注意机制。
Jul, 2020
这项研究将能量模型和 Hopfield 网络的理论神经科学相结合,表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中,实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同,为记忆的理论神经科学和生成模型建立了强大的计算基础。
Sep, 2023
通过最小化概率流量,设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络,该网络不仅能够实现 Shannon 信道容量界限,还可以高效地解决计算机科学中的隐藏社团问题,为来自生物学的计算模型的实际应用敞开了新的大门。
Nov, 2014
该研究论文提出了使用最小概率流算法将二进制记忆存储在 Hopfield 神经网络中的算法,并在处理带噪音数据时比传统方法的速度和存储恢复表现更优秀。
Apr, 2012
通过基于复值向量的关联记忆,不增加网络参数的情况下增强循环神经网络的新方法,与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是,该系统创建存储信息的冗余副本,从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。
Feb, 2016
本文介绍了一种利用 Hopfield Networks 进行联想学习的网络嵌入方法,通过节点内容和其邻居之间的关联来构建记忆,使用神经网络的循环动力学来恢复掩盖的节点以进行节点分类和链接预测,并与传统矩阵分解和深度学习方法进行了比较。
Aug, 2022