May, 2024

分布式表示在神经形态硬件上实现鲁棒多时间尺度计算

PDF
TL;DR使用高维随机向量作为最小表示单元的矢量符号结构（VSAs）嵌入鲁棒的多时间尺度动力学到基于吸引子的 RSNNs，通过叠加对称的自联想权重矩阵和非对称的状态转换项来嵌入有限状态机进入 RSNNs 动力学，通过模拟高度非理想的权重、实验性的闭环存储器硬件设置，和在 Loihi 2 上验证，表明了 VSA 表示在嵌入鲁棒计算与循环动力学到神经形态硬件中的有效性，无需参数微调或平台的特定优化，这将 VSA 推进为认知算法在神经形态硬件中的高级表示不变的抽象语言。
发现论文，激发创造
  • 解决渡鸦先知测试的神经矢量符号架构

    利用我们提出的神经向量符号架构（NVSA）对 Raven's 渐进矩阵数据集进行端到端训练，N VSA 的平均准确率达到了 87.7％，而 I-RAVEN 数据集则为 88.1％。与神经符号方法内的符号推理相比，NVSA 的概率推理具有两个数量级的更快速度。

    Mar, 2022

  • 稀疏分布式表示的变量绑定：理论与应用

    本文探讨了 Vector Symbolic Architectures 中稀疏分布式表示下的符号推导，通过实验证明了基于块编码进行变量绑定的方法具有良好的性质，并在认知推理和分类等实际应用中展示了它的价值。

    Sep, 2020

  • 基于自注意力的矢量符号结构的语义分解

    基于自注意力的更新规则和 Hopfield 网络的 log-sum-exp 能量函数及范数限制状态的新变体共振器网络被引入，可显著提高性能和收敛速度，使得算法具有更大的关联记忆能力，可应用于感知基模式识别、场景分解和物体推理等多个任务。

    Mar, 2024

  • 递归神经网络中的序列索引和工作记忆理论

    本文提出了一类用于索引和存储符号序列或模拟数据向量的递归神经网络，利用储池计算的性质，采用随机输入权重和正交递归权重实现之前在向量符号体系结构（VSA）中描述的编码原理，并提出了优化语音缓存网络，使其能够在处理数据流时在线工作的新型 VSA 模型的设计。

    Feb, 2018

  • 用共振器网络进行神经形态视觉场景理解

    提出了一种基于神经形态学的解决方案，使用基于向量符号体系结构的高效因式分解网络，实现物体位置和其刚性变换的推断。

    Aug, 2022

  • 深度脉冲神经网络的多尺度进化神经架构搜索

    本论文提出了一种基于大脑多尺度拓扑结构的多尺度进化神经架构搜索算法 (MSE-NAS)，通过基于神经激发的间接评估函数 (表示不同矩阵 RDMs) 演化单个神经元操作，从而得到具有卓越可扩展性和迁移性的 SNN 架构。实验结果表明，该算法在静态数据集 (CIFAR10, CIFAR100) 和神经形态数据集 (CIFAR10-DVS 和 DVS128-Gesture) 上均取得了最新技术水平 (SOTA) 的性能表现，而不需要训练，同时不影响在不同尺度上的生物解释性。

    Apr, 2023

  • 复发射神经网络的异质学习动力学的拓扑表示

    该论文介绍了一种使用 RTD（Representation Topology Divergence）比较 Recurrent SNN 模型之间分布式表示差异的新方法，探究了使用 STDP 训练的 RSNN 的学习能力以及异质性在突触动力学学习中的作用。

    Mar, 2024

  • 序列相似性保留超向量表示的递归绑定

    本研究提出了一种基于超维计算和向量符号架构的模型，该模型使用分布式表示对大型固定维度的数据进行一系列操作，其中包括将序列转换为分布式表示，同时保留相同序列元素和序列位移的相似性，并采用递归绑定和叠加操作形成序列位置的表示。该模型名为傅里叶全息约减表示，但可适用于其他超维计算和向量符号架构模型。

    Jan, 2022

  • 稀疏二进制超向量的认知建模与学习

    基于 VSA 理论框架，提出了一种使用稀疏二进制超向量的认知模型，并引入学习算法来从输入数据流中引导模型的训练，在有效性和透明度方面有了显著改进。该模型模拟人类认知过程，在会话中可以进行在线训练，并探索了在自然语言处理领域中利用这些超向量进行词级嵌入的进一步应用。

    Sep, 2023

  • 基于脉冲表示的微分训练高性能低延迟脉冲神经网络

    本文提出了一种 Differentiation on Spike Representation (DSR) 方法，利用加权频率编码将射击轨迹编码为射击表示，然后通过对子可微映射的梯度进行 SNN 训练，避免了 SNN 训练中常见的非可微性问题，该方法在静态和神经形态数据集上具有低延迟和最先进的 SNN 性能。

    May, 2022