基于熵的关联记忆实现在现实世界图像中的应用
本文提出了一种基于元学习的能量记忆模型,通过使用任意神经结构作为能量模型并快速将图案存储在其权重中,实现了对合成和自然数据的压缩记忆,并在重构误差和压缩率方面优于现有的记忆系统。
Oct, 2019
使用 Willshaw Memory 模型和 Multiple-Modality 框架实现稀疏编码,能够储存和检索大量的现实数据,并且支持多模态同步存储与检索以及缺失模式进行推理,该框架可用于其他的学习任务。
Jul, 2022
提出了一种名为相关密集关联记忆(CDAM)的新型关联记忆模型,通过整合自关联和异关联在一个统一的框架中来处理连续值记忆模式。采用任意图结构来语义链接记忆模式,CDAM 在理论和数值上得到分析,揭示了四种不同的动力学模式:自关联、窄异关联、宽异关联和中性静息。借鉴抑制性调制研究,采用反赫布学习规则控制异关联的范围,提取图中社区结构的多尺度表示,并稳定时序序列的回想。实验演示展示了 CDAM 在处理现实世界数据、复制经典神经科学实验、执行图像检索和模拟任意有限自动机方面的效果。
Apr, 2024
本文提出了一种基于自注意力的联想记忆算子(SAM),通过 SAM 可以将个别经历的存储(项目记忆)和它们之间的关系(关系记忆)分离,然后在一个序列模型中将这两种记忆体有机地联系起来,从而实现记忆和关系推理,该模型在各种机器学习任务中具有竞争力的表现,包括几何、图形、强化学习和问题回答等方面。
Feb, 2020
通过使用嵌入空间计算相似度,而不是像素空间,利用预训练的对比损失网络来计算嵌入,我们可以在较小的嵌入空间中更快地计算相似度分数,并且不需要存储整个数据集的像素空间。我们还提出了一种仅存储低维语义嵌入的记忆模型类别,并使用它们来检索类似但不完全相同的记忆。在 MNIST 数据集上的简单任务上,我们对这种方法进行了概念验证。
Feb, 2024
通过观察到关联记忆的能量函数可以被看作是概率建模的负对数似然函数,我们建立了一个桥梁,使得这两者之间的有益思想可以互相流动。在这项工作中,我们提出了基于能量的模型以适应新的上下文数据集,提出了两种新的关联记忆模型,通过关联记忆的工具,我们系统地研究了高斯内核密度估计器的记忆容量,并且研究了 transformers 中的一种实现选择,即规范化后的自注意力,在超球面上执行聚类。
Feb, 2024
本文研究了一类神经联想记忆的设计问题,该记忆可以在大量对抗性错误的情况下储存大量的消息向量,并通过迭代错误纠正的方法从网络中获取正确的消息向量,设计思路为将学习和召回阶段分别映射到正方形字典的学习和迭代纠错卷积码的错误纠正任务中。
Nov, 2016
通过从动力系统和常微分方程的角度提供对扩散模型(DMs)的简明概述,揭示了高度相关但经常被忽视的能量驱动模型(AMs)概念的数学联系,并总结了 40 年来 AMs 的历史,讨论了 AMs 和 DMs 的相似性和差异性揭示的新的研究方向。
Sep, 2023
本文描述了一种完全反馈的关联记忆模型,具有任意数量的层,其中一些层可以是局部连接的(卷积),以及相应的能量函数,该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈,以帮助较低层神经元决定它们对输入刺激的响应。
Jul, 2021
提出了一种使用关联记忆模型实现的端到端可微分聚类方法 ClAM,并且使用自监督聚类损失进行了改进,实验结果表明,ClAM 明显优于传统的 k-means 算法和连续聚类方法。
Jun, 2023