Mar, 2016

序列生成和记忆的递归神经网络模型

PDF
TL;DR本文提出 Partial In-Network Training（PINning）方法，基于随机网络架构和少量的连接修改，实现突触交互和外部输入的协作而不是前馈或非对称连接，高效地产生神经序列和工作记忆，此方法能够匹配细胞分辨率成像数据，并暗示神经序列可能从较大结构的神经网络中学习而来。
neural sequencesworking memorynetwork architecturepinningsynaptic interactions
发现论文，激发创造
  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 脑中序列的计算

    该研究针对机器学习和认知神经科学中的中心课题提出了一种形式化的神经活动模型，该模型可以通过神经元集合的创建和操作实现某些简单的认知操作，并具有较强的泛化、鲁棒性和快速性，还可以捕捉时间和空间序列，实现通用计算。

    Jun, 2023

  • 脉冲神经网络实现生物学上可行的序列学习

    提出了一种新的持续时间模型 ——McCulloch-Pitts 网络 (MPN)， 用于序列学习，在棘突神经网络中，可以利用突触之间的不对称连接进行训练，能够稳健地记忆多个时空模式、二进制图片序列和实验神经脉冲数据的产生模型，并具有生物启发式的设计理念。

    Nov, 2019

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 在具有隐藏神经元的循环网络中学习序列吸引子

    大脑针对处理时间序列信息，如何学习存储和检索序列记忆仍不清楚。本研究探讨了二元神经元回归网络如何学习序列吸引子以存储预定义的模式序列，并能够强大地检索它们。通过发展一种本地学习算法，证明了该算法能够使带有隐藏神经元的网络学习序列吸引子，且能够在合成和实际数据集上有效地存储和检索序列。希望本研究为理解大脑中的序列记忆和时间信息处理提供新的见解。

    Apr, 2024

  • 递归神经网络中的序列索引和工作记忆理论

    本文提出了一类用于索引和存储符号序列或模拟数据向量的递归神经网络，利用储池计算的性质，采用随机输入权重和正交递归权重实现之前在向量符号体系结构（VSA）中描述的编码原理，并提出了优化语音缓存网络，使其能够在处理数据流时在线工作的新型 VSA 模型的设计。

    Feb, 2018

  • 长序列霍普菲尔德记忆

    通过引入非线性相互作用项扩增了模型的序列容量，提出了一种基于连续关联记忆的计算模型，验证了序列容量随网络规模的新的比例规律，并通过数值模拟验证了这些理论结果。此外，还引入了广义伪逆序列回忆规则，并将模型扩展到可以存储具有状态转换间隔变化的序列，提出了一种生物可信实现，与运动神经科学相关。

    Jun, 2023

  • 树状记忆网络用于建模长期时间依赖关系

    提出了一种基于树形记忆网络的序列映射模型，用于捕获长期和短期依赖关系，并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。

    Mar, 2017

  • 脉冲神经元网络中的长短时记忆和学习 - to-learn

    研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络（RSNNs）中，从而优化网络结构，实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。

    Mar, 2018

  • 神经记忆网络预测未来动作序列

    本研究提出了一种基于神经记忆网络的新框架，用于未来动作序列预测，通过使用神经记忆网络捕捉序列内部的短期关系和序列之间的长期关系，有效地融合了特征，取得了比现有方法更好的预测效果。

    Sep, 2019