Apr, 2024

在具有隐藏神经元的循环网络中学习序列吸引子

PDF
TL;DR大脑针对处理时间序列信息，如何学习存储和检索序列记忆仍不清楚。本研究探讨了二元神经元回归网络如何学习序列吸引子以存储预定义的模式序列，并能够强大地检索它们。通过发展一种本地学习算法，证明了该算法能够使带有隐藏神经元的网络学习序列吸引子，且能够在合成和实际数据集上有效地存储和检索序列。希望本研究为理解大脑中的序列记忆和时间信息处理提供新的见解。
braintemporal sequence informationsequence memoriesrecurrent networkssequence attractors
发现论文，激发创造
  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 序列生成和记忆的递归神经网络模型

    本文提出 Partial In-Network Training（PINning）方法，基于随机网络架构和少量的连接修改，实现突触交互和外部输入的协作而不是前馈或非对称连接，高效地产生神经序列和工作记忆，此方法能够匹配细胞分辨率成像数据，并暗示神经序列可能从较大结构的神经网络中学习而来。

    Mar, 2016

  • 学习吸引子动力学用于生成记忆

    本研究展示了一个基于 Kanerva 机器提出的记忆写入即推理的思想，通过训练一个生成式分布式记忆，最大化其变分下界导出一个儒雅彼诺夫函数。实验结果表明，在迭代读取中收敛到正确的模式，并且在记忆模型和生成模型方面都具有有竞争力的性能。

    Nov, 2018

  • 无需连续吸引子的持续学习信号和工作记忆

    基于我们的理论，我们为人工循环神经网络开发了一种新的初始化方案，优于需要学习时间动态的标准方法，并且提出了一种稳健的循环记忆机制，用于集成和维持方向信息而不需要环形吸引子。

    Aug, 2023

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 脑中序列的计算

    该研究针对机器学习和认知神经科学中的中心课题提出了一种形式化的神经活动模型，该模型可以通过神经元集合的创建和操作实现某些简单的认知操作，并具有较强的泛化、鲁棒性和快速性，还可以捕捉时间和空间序列，实现通用计算。

    Jun, 2023

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014

  • 长序列霍普菲尔德记忆

    通过引入非线性相互作用项扩增了模型的序列容量，提出了一种基于连续关联记忆的计算模型，验证了序列容量随网络规模的新的比例规律，并通过数值模拟验证了这些理论结果。此外，还引入了广义伪逆序列回忆规则，并将模型扩展到可以存储具有状态转换间隔变化的序列，提出了一种生物可信实现，与运动神经科学相关。

    Jun, 2023

  • 透析神经元在门控循环单元序列 - 序列模型中的功能

    本文旨在报告关于 Seq2Seq 模型的科学发现，提供神经元水平的分析以解释为什么不带注意力的普通 GRU-based Seq2Seq 模型可以实现令牌定位，并发现了四种不同类型的神经元：存储，计数，触发和输出，并进一步揭示这些神经元共同工作的机制以产生正确的令牌在正确的位置。

    Mar, 2023

  • 无监督神经网络模型的连续在线序列学习

    本文提出了分层时序记忆（HTM）的序列记忆，使用无监督的 Hebbian-like 学习规则可以连续学习大量变序列。 HTM 序列记忆能够处理多元序列及预测，还具有连续的在线学习、处理多元及多分支序列的能力、传感器噪声稳健性和容错性等优点，可应用于离散和连续序列预测、异常检测和序列分类等多领域。

    Dec, 2015