递归神经网络中的序列索引和工作记忆理论
使用高维随机向量作为最小表示单元的矢量符号结构(VSAs)嵌入鲁棒的多时间尺度动力学到基于吸引子的 RSNNs,通过叠加对称的自联想权重矩阵和非对称的状态转换项来嵌入有限状态机进入 RSNNs 动力学,通过模拟高度非理想的权重、实验性的闭环存储器硬件设置,和在 Loihi 2 上验证,表明了 VSA 表示在嵌入鲁棒计算与循环动力学到神经形态硬件中的有效性,无需参数微调或平台的特定优化,这将 VSA 推进为认知算法在神经形态硬件中的高级表示不变的抽象语言。
May, 2024
通过应用局部、始终开启的可塑性规则,我们能够在由两个群体组成的递归网络中学习复杂序列,我们的模型具有资源高效性,仅需少量神经元即可学习复杂序列,我们通过鸟鸣学习的模拟中展示了这些特点,在该模拟中,我们的网络首先学习了一个长的非马尔可夫序列,尽管存在外部干扰,它们能够稳健地复现此序列。
Feb, 2024
本文提出 Partial In-Network Training(PINning)方法,基于随机网络架构和少量的连接修改,实现突触交互和外部输入的协作而不是前馈或非对称连接,高效地产生神经序列和工作记忆,此方法能够匹配细胞分辨率成像数据,并暗示神经序列可能从较大结构的神经网络中学习而来。
Mar, 2016
基于自注意力的更新规则和 Hopfield 网络的 log-sum-exp 能量函数及范数限制状态的新变体共振器网络被引入,可显著提高性能和收敛速度,使得算法具有更大的关联记忆能力,可应用于感知基模式识别、场景分解和物体推理等多个任务。
Mar, 2024
研究线性循环网络在遵守离散时间动力学的情况下,存储可从网络瞬时状态中检索的长时间序列的能力。 计算分布式移位寄存器和随机正交连接矩阵的时间记忆容量。 随着系统规模的增大,这些网络的记忆容量呈比例关系。
Feb, 2004
通过基于复值向量的关联记忆,不增加网络参数的情况下增强循环神经网络的新方法,与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是,该系统创建存储信息的冗余副本,从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。
Feb, 2016
本文提出了新的几何解释,解释了库沃塞蓝计算的现象,将其构建为强普适性水库系统;随机投影所有状态空间系统的家族,以产生 Volterra 级数扩展,生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。
Sep, 2020
本文探讨了 Vector Symbolic Architectures 中稀疏分布式表示下的符号推导,通过实验证明了基于块编码进行变量绑定的方法具有良好的性质,并在认知推理和分类等实际应用中展示了它的价值。
Sep, 2020
该研究旨在开发一种新型的计算机架构,将内存增强神经网络(MANN)与计算存储器单元相结合,以实现在高维向量上的模拟内存计算,并使用基于内容的注意机制来处理此计算存储器单元上的数据,并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。
Oct, 2020