Mar, 2015

稀疏分布式表示的性质及其在层级时间记忆中的应用

PDF
TL;DR研究了神经皮层表征信息的稀疏分布式表示方法（Sparse Distributed Representations，SDRs）的核心属性对于缩放、鲁棒性和泛化的作用，并提供了实用指南，说明将 SDRs 作为 HTM 的基础的潜在和理论意义。
neocortexsparse distributed representations (sdrs)hierarchical temporal memory (htm)scalingcortical function
发现论文，激发创造
  • HTM 系统的数据编码

    本篇论文描述了如何将数据编码为少量分布式表示（SDRs），并将其用于 HTM 系统，这是一种生物学启发的机器智能技术，模拟了新皮层的结构和过程。

    Feb, 2016

  • 学习分布式希伯阶相邻表征

    这篇论文介绍了一种针对不稳定、部分可观测环境下决策的在线隐藏表示学习方法。提出的分布式赫比时态记忆（DHTM）算法基于因子图形式和多组分神经元模型，它旨在捕捉序列数据关系，并对未来观察作出累积预测，形成继承者表示。经实验证明，DHTM 算法在应对动态环境中的时序差异学习方面表现优于经典 LSTM，并与更高级的类似 RNN 的算法相当，加速了继承者表示中的时间差异学习。此外，我们将 DHTM 产生的继承者表示与另一种生物启发的类 HMM 算法 CSCG 进行了比较，发现 DHTM 是解决在线隐藏表示学习动态环境挑战的一种有前途的方法。

    Oct, 2023

  • 复发射神经网络的异质学习动力学的拓扑表示

    该论文介绍了一种使用 RTD（Representation Topology Divergence）比较 Recurrent SNN 模型之间分布式表示差异的新方法，探究了使用 STDP 训练的 RSNN 的学习能力以及异质性在突触动力学学习中的作用。

    Mar, 2024

  • 二值化稀疏表示实现高效文本检索的超高维度方法

    本文提出了一种超高维度的表示方案，结合了符号和潜在形式的稀疏表示和神经模型的密集表示，具有直接可控的稀疏度，可以用于高效存储和搜索，并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。

    Apr, 2021

  • 稀疏分布式内存是一种连续学习器

    使用稀疏分布式记忆连接核心神经回路与 Transformer 模型，创造了一种修改的多层感知器，该算法可有效解决人工神经网络所面临的连续学习问题，并广泛适用于训练稀疏网络。

    Mar, 2023

  • 联想长短时记忆

    通过基于复值向量的关联记忆，不增加网络参数的情况下增强循环神经网络的新方法，与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是，该系统创建存储信息的冗余副本，从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。

    Feb, 2016

  • 广义全息简化表示

    通过引入 Generalized Holographic Reduced Representations (GHRR)，本文探讨了基于 Hyperdimensional Computing (HDC) 的深度学习方法，通过在保留连接主义方法的灵活性的同时，允许显式规定符号方法中的表征结构，从而提高了编码复杂数据结构的能力。

    May, 2024

  • 分布式表示在神经形态硬件上实现鲁棒多时间尺度计算

    使用高维随机向量作为最小表示单元的矢量符号结构（VSAs）嵌入鲁棒的多时间尺度动力学到基于吸引子的 RSNNs，通过叠加对称的自联想权重矩阵和非对称的状态转换项来嵌入有限状态机进入 RSNNs 动力学，通过模拟高度非理想的权重、实验性的闭环存储器硬件设置，和在 Loihi 2 上验证，表明了 VSA 表示在嵌入鲁棒计算与循环动力学到神经形态硬件中的有效性，无需参数微调或平台的特定优化，这将 VSA 推进为认知算法在神经形态硬件中的高级表示不变的抽象语言。

    May, 2024

  • 基于脉冲表示的微分训练高性能低延迟脉冲神经网络

    本文提出了一种 Differentiation on Spike Representation (DSR) 方法，利用加权频率编码将射击轨迹编码为射击表示，然后通过对子可微映射的梯度进行 SNN 训练，避免了 SNN 训练中常见的非可微性问题，该方法在静态和神经形态数据集上具有低延迟和最先进的 SNN 性能。

    May, 2022

  • 局部等距性质在网络中的短期记忆容量

    研究了随机连接的线性网络对于执行近似稀疏输入信号的短期记忆（STM）的容量，利用了压缩感知结果提供了严格的非渐近恢复保证，量化了输入稀疏级别、输入稀疏基、网络特性对系统容量的影响，证明网络内存容量可以与节点数量超线性地扩展，并且在某些情况下可以实现远大于网络大小的 STM 容量。

    Jul, 2013