Apr, 2024

稠密关联模型中的语义相关记忆

PDF
TL;DR提出了一种名为相关密集关联记忆（CDAM）的新型关联记忆模型，通过整合自关联和异关联在一个统一的框架中来处理连续值记忆模式。采用任意图结构来语义链接记忆模式，CDAM 在理论和数值上得到分析，揭示了四种不同的动力学模式：自关联、窄异关联、宽异关联和中性静息。借鉴抑制性调制研究，采用反赫布学习规则控制异关联的范围，提取图中社区结构的多尺度表示，并稳定时序序列的回想。实验演示展示了 CDAM 在处理现实世界数据、复制经典神经科学实验、执行图像检索和模拟任意有限自动机方面的效果。
associative memorycdamcontinuous-valued memory patternsanti-hebbian learning rulesmulti-scale representations
发现论文，激发创造
  • 通过异质联想固定支架实现无灾难性遗忘的内容可寻址存储器

    提出了一种新型 CAM 体系结构 ——Memory Scaffold with Heteroassociation (MESH)，基于内部稳定态和外部信息关联，生成了一个没有存储限制的 CAM 连续体系，解决了存储模式数量与完整性之间的平衡问题，相较于现有的 CAM 模型表现更好。

    Feb, 2022

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 直观视角下的记忆：扩散模型与联想记忆之间的奇妙相似

    通过从动力系统和常微分方程的角度提供对扩散模型（DMs）的简明概述，揭示了高度相关但经常被忽视的能量驱动模型（AMs）概念的数学联系，并总结了 40 年来 AMs 的历史，讨论了 AMs 和 DMs 的相似性和差异性揭示的新的研究方向。

    Sep, 2023

  • 模式识别的密集关联记忆

    研究了一种关联记忆模型，建立了它与深度学习中神经网络的简单对应关系。这个模型可以存储并可靠地检索超过网络神经元数量的模式，可以应用到深度学习中的高次多项式的激活函数，实现或改进手写数字字符识别等任务。

    Jun, 2016

  • 密集联想记忆对抗性输入具有强健性

    本研究使用 Dense Associative Memory 模型框架，证明了在能量函数中交互顶点的功率足够大的极限下，与带有 ReLUs 的 DNN 等效的带有更高阶交互的模型可以更接近于人类视觉感知，并且具有更好的抵御恶意对抗攻击的能力。

    Jan, 2017

  • 双序列建模的神经联想记忆

    该研究提出了一种基于关联记忆的新架构用于双序列建模，派生了用于增强通用循环神经网络（RNN）的循环关联记忆（AM-RNNs），扩展至同时操作两个 AM 的 Dual AM-RNN，并在文本推理方面取得了非常有竞争力的结果。

    Jun, 2016

  • 基于熵的关联记忆实现在现实世界图像中的应用

    本文通过实验证明熵关联记忆是一种计算模型，可以适当地存储、识别和检索复杂和非传统的动物和车辆图像，并生成有意义的检索联想链。

    May, 2024

  • 变分推断和自联记忆之间的关系

    该研究文章提出了一个变分推断的自联想记忆模型，可以结合感知推断和存储检索，通过将先验概率密度定义为于已存储的表达式依存，吸引后续推断流程向先前存储的表达式。通过比较一些变分自编码器和预测编码的方法，作者结合这些方法提出了新的自联想存储模型，并在 CIFAR10 和 CLEVR 图像数据集上进行了评估。同时，作者也将这些自联想存储模型与 Hopfield Networks、End-to-End Memory Networks 和 Neural Turing Machines 等其他联想存储模型进行了比较。

    Oct, 2022

  • 具有关联记忆的端对端可微聚类

    提出了一种使用关联记忆模型实现的端到端可微分聚类方法 ClAM，并且使用自监督聚类损失进行了改进，实验结果表明，ClAM 明显优于传统的 k-means 算法和连续聚类方法。

    Jun, 2023

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022