分层联想记忆
研究了一种关联记忆模型,建立了它与深度学习中神经网络的简单对应关系。这个模型可以存储并可靠地检索超过网络神经元数量的模式,可以应用到深度学习中的高次多项式的激活函数,实现或改进手写数字字符识别等任务。
Jun, 2016
本文提出了一个新颖的通用框架,可以将各种神经网络进行相似性、分离性和投影性等方面的比较,研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理,并发现在很多任务中,采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势,将使检索更加稳健、记忆容量更大。
Feb, 2022
这项研究将能量模型和 Hopfield 网络的理论神经科学相结合,表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中,实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相同,为记忆的理论神经科学和生成模型建立了强大的计算基础。
Sep, 2023
通过最小化概率流量,设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络,该网络不仅能够实现 Shannon 信道容量界限,还可以高效地解决计算机科学中的隐藏社团问题,为来自生物学的计算模型的实际应用敞开了新的大门。
Nov, 2014
关于现代霍普菲尔德网络(MHN),我们展示了大容量的记忆会削弱泛化机会,并提供了一种优化这种权衡的解决方案。该解决方案依赖于最小描述长度(MDL),在训练过程中确定存储哪些记忆以及存储多少记忆。
Nov, 2023
引入了一种新型的 Hopfield 神经网络,具有连续状态和相应的更新规则,可存储指数数量的模式,具有很小的检索误差。该网络可用作深度学习架构的一层,以允许存储和访问原始输入数据、中间结果或学习原型,并提供池化、记忆、关联和注意机制。
Jul, 2020
本文提出了一种基于元学习的能量记忆模型,通过使用任意神经结构作为能量模型并快速将图案存储在其权重中,实现了对合成和自然数据的压缩记忆,并在重构误差和压缩率方面优于现有的记忆系统。
Oct, 2019
提出了两种策略来提高分层关联记忆模型的模拟效率:将其作为深度平衡模型进行建模,以及通过交替优化偶数层和奇数层加速记忆检索速度,这两种技术的结合使能量最小化过程更加高效。
Nov, 2023