AAAINov, 2016

利用字典学习和扩展解码的关联记忆

PDF
TL;DR本文研究了一类神经联想记忆的设计问题，该记忆可以在大量对抗性错误的情况下储存大量的消息向量，并通过迭代错误纠正的方法从网络中获取正确的消息向量，设计思路为将学习和召回阶段分别映射到正方形字典的学习和迭代纠错卷积码的错误纠正任务中。
associative memoryneural networkadversarial errorsiterative error correctiondictionary learning
发现论文，激发创造
  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 模式识别的密集关联记忆

    研究了一种关联记忆模型，建立了它与深度学习中神经网络的简单对应关系。这个模型可以存储并可靠地检索超过网络神经元数量的模式，可以应用到深度学习中的高次多项式的激活函数，实现或改进手写数字字符识别等任务。

    Jun, 2016

  • 过参数化神经网络实现联想记忆

    本研究研究了计算机学习和神经科学交叉中记忆和检索数据的计算机机制，发现标准过度参数化的深度神经网络训练使用标准优化方法实现了一种用于实数数据的存储训练样本作为吸引子的 AutoEncoders 和序列编码提供了比 AutoEncoders 更有效的记忆机制。

    Sep, 2019

  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 关联记忆与概率建模的桥梁

    通过观察到关联记忆的能量函数可以被看作是概率建模的负对数似然函数，我们建立了一个桥梁，使得这两者之间的有益思想可以互相流动。在这项工作中，我们提出了基于能量的模型以适应新的上下文数据集，提出了两种新的关联记忆模型，通过关联记忆的工具，我们系统地研究了高斯内核密度估计器的记忆容量，并且研究了 transformers 中的一种实现选择，即规范化后的自注意力，在超球面上执行聚类。

    Feb, 2024

  • 关于联想记忆的缩放定律

    通过学习高维矩阵和内层变换器语言模型，研究关联记忆机制、标度定律和统计效率的优化算法，通过数值实验验证理论结果和存储记忆联想的细粒度可视化。

    Oct, 2023

  • 特征空间中的关联记忆

    通过使用嵌入空间计算相似度，而不是像素空间，利用预训练的对比损失网络来计算嵌入，我们可以在较小的嵌入空间中更快地计算相似度分数，并且不需要存储整个数据集的像素空间。我们还提出了一种仅存储低维语义嵌入的记忆模型类别，并使用它们来检索类似但不完全相同的记忆。在 MNIST 数据集上的简单任务上，我们对这种方法进行了概念验证。

    Feb, 2024

  • Hopfield 网络的鲁棒指数记忆

    通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

    Nov, 2014

  • 联想长短时记忆

    通过基于复值向量的关联记忆，不增加网络参数的情况下增强循环神经网络的新方法，与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是，该系统创建存储信息的冗余副本，从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。

    Feb, 2016

  • 密集联想记忆对抗性输入具有强健性

    本研究使用 Dense Associative Memory 模型框架，证明了在能量函数中交互顶点的功率足够大的极限下，与带有 ReLUs 的 DNN 等效的带有更高阶交互的模型可以更接近于人类视觉感知，并且具有更好的抵御恶意对抗攻击的能力。

    Jan, 2017