- 基于熵的关联记忆实现在现实世界图像中的应用
本文通过实验证明熵关联记忆是一种计算模型,可以适当地存储、识别和检索复杂和非传统的动物和车辆图像,并生成有意义的检索联想链。
- 稠密关联模型中的语义相关记忆
提出了一种名为相关密集关联记忆(CDAM)的新型关联记忆模型,通过整合自关联和异关联在一个统一的框架中来处理连续值记忆模式。采用任意图结构来语义链接记忆模式,CDAM 在理论和数值上得到分析,揭示了四种不同的动力学模式:自关联、窄异关联、宽 - 用于大型基于 Transformer 的模型的高效离群层
我们介绍了一种异常值高效的现代 Hopfield 模型(命名为 OutEffHop),并使用它来解决量化巨大的基于 Transformer 的模型中的异常值引起的挑战。
- BiSHop: 基于广义稀疏现代霍普菲尔德模型的双向表格数据学习
介绍了一种新型的端到端深度表格学习框架 BiSHop,它处理深度表格学习的两个主要挑战:非旋转不变数据结构和表格数据中的特征稀疏性。通过在每个尺度上具有自适应稀疏性的多尺度表示学习,BiSHop 捕捉了特征内部和特征间的交互,并在多个真实世 - 基于自注意力的矢量符号结构的语义分解
基于自注意力的更新规则和 Hopfield 网络的 log-sum-exp 能量函数及范数限制状态的新变体共振器网络被引入,可显著提高性能和收敛速度,使得算法具有更大的关联记忆能力,可应用于感知基模式识别、场景分解和物体推理等多个任务。
- 关联记忆与概率建模的桥梁
通过观察到关联记忆的能量函数可以被看作是概率建模的负对数似然函数,我们建立了一个桥梁,使得这两者之间的有益思想可以互相流动。在这项工作中,我们提出了基于能量的模型以适应新的上下文数据集,提出了两种新的关联记忆模型,通过关联记忆的工具,我们系 - 基于显著性导向的隐藏联想回放用于持续学习
这篇研究论文介绍了一种用于持续学习的新框架,它将关联记忆与回放策略相结合,通过稀疏内存编码归档显著的数据片段,并引入面向内容的记忆检索机制,通过实验证明了该方法在各种持续学习任务中的有效性。
- 联想变压器是一种稀疏表示学习器
建立在生物学原理的基础上,我们提出了关联变压器(AiT),它通过引入显式记忆形成注意力瓶颈,并在共享工作空间和关联记忆中形成吸引子,从而在不同视觉任务中展示出了比 Set Transformer、Vision Transformer 和 C - BayesPCN: 一种可不断学习的预测编码联想记忆
本文提出 BayesPCN,一个具有层级结构的关联记忆,能够进行连续的一次性记忆写入,而无需元学习,并能逐渐遗忘过去的观察结果,以释放存储空间。实验表明,BayesPCN 能够回忆起数百到数千个时间步长以前观察到的损坏的高维数据,与现有的线 - IJCAI深度强化学习的抽象化
本文在深度强化学习的背景下对抽象问题进行了阐述,并探讨了 AI 和机器学习发展中的各种方法及其应用的难点。
- 分层联想记忆
本文描述了一种完全反馈的关联记忆模型,具有任意数量的层,其中一些层可以是局部连接的(卷积),以及相应的能量函数,该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈,以帮助较低层神经元决定它们对输入刺激的响应。
- ICLR元学习深度能量型记忆模型
本文提出了一种基于元学习的能量记忆模型,通过使用任意神经结构作为能量模型并快速将图案存储在其权重中,实现了对合成和自然数据的压缩记忆,并在重构误差和压缩率方面优于现有的记忆系统。
- 使用赫比快速权重进行元学习
本文提出了一种用于元学习的模型,将近期的神经网络方法与早期的联想记忆思想统一起来。该模型通过慢速权重和 Hebbian 学习规则构建快速权重,在 Omniglot、Mini-ImageNet 和 Penn Treebank 等数据集上取得了 - 具有大容量存储的联想记忆模型
该论文使用多项式交互函数推广了著名的 Hopfield 模型,证明了该模型的存储能力随多项式次数增加呈指数级增长,并且具有与标准 Hopfield 模型几乎相等的吸引域大小。
- AAAI利用字典学习和扩展解码的关联记忆
本文研究了一类神经联想记忆的设计问题,该记忆可以在大量对抗性错误的情况下储存大量的消息向量,并通过迭代错误纠正的方法从网络中获取正确的消息向量,设计思路为将学习和召回阶段分别映射到正方形字典的学习和迭代纠错卷积码的错误纠正任务中。
- NIPS模式识别的密集关联记忆
研究了一种关联记忆模型,建立了它与深度学习中神经网络的简单对应关系。这个模型可以存储并可靠地检索超过网络神经元数量的模式,可以应用到深度学习中的高次多项式的激活函数,实现或改进手写数字字符识别等任务。
- ICML联想长短时记忆
通过基于复值向量的关联记忆,不增加网络参数的情况下增强循环神经网络的新方法,与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是,该系统创建存储信息的冗余副本,从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。
- AAAI知识图谱的全息嵌入
本文提出一种名为 HoloE 的方法用于学习整个 knowledge graph 的综合空间表示,通过循环相关性来创建组合表示,从而在 link prediction 和 relational learning 等方面超越现有技术。
- ICLR用无监督深度学习架构学习成对联想图像
该论文提出了一种无监督多模态学习系统,通过两个输入通道学习联想表示,使用深度学习架构训练,可以生成准确度和反向网络的模型。
- 具有大学习差异性的稀疏神经网络
本文介绍了具有三个级别稀疏性的编码循环神经网络,该网络基于二进制神经元和二进制连接,能够学习和召回大量的信息,可以作为分类器和关联记忆使用。