Aug, 2023

无需连续吸引子的持续学习信号和工作记忆

PDF
TL;DR基于我们的理论，我们为人工循环神经网络开发了一种新的初始化方案，优于需要学习时间动态的标准方法，并且提出了一种稳健的循环记忆机制，用于集成和维持方向信息而不需要环形吸引子。
neural dynamical systemsattractorslearningtemporal relationshipsartificial recurrent neural networks
发现论文，激发创造
  • 学习吸引子动力学用于生成记忆

    本研究展示了一个基于 Kanerva 机器提出的记忆写入即推理的思想，通过训练一个生成式分布式记忆，最大化其变分下界导出一个儒雅彼诺夫函数。实验结果表明，在迭代读取中收敛到正确的模式，并且在记忆模型和生成模型方面都具有有竞争力的性能。

    Nov, 2018

  • 在具有隐藏神经元的循环网络中学习序列吸引子

    大脑针对处理时间序列信息，如何学习存储和检索序列记忆仍不清楚。本研究探讨了二元神经元回归网络如何学习序列吸引子以存储预定义的模式序列，并能够强大地检索它们。通过发展一种本地学习算法，证明了该算法能够使带有隐藏神经元的网络学习序列吸引子，且能够在合成和实际数据集上有效地存储和检索序列。希望本研究为理解大脑中的序列记忆和时间信息处理提供新的见解。

    Apr, 2024

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 长期时间序列预测的吸引子记忆：混沌视角

    在长期时间序列预测任务中，现有的深度学习模型忽视了离散时间序列起源于连续动态系统的关键特性，导致缺乏外推和演化能力。我们的模型 'Attraos' 将混沌理论引入长期时间序列预测中，将真实世界时间序列视为未知高维混沌动态系统的观测。在吸引子不变性的概念下，Attraos 利用提出的多尺度动态记忆单元来记忆历史动态结构，并通过频率增强的局部演化策略进行预测。详细的理论分析和丰富的实证证据一致表明，Attraos 在主流长期时间序列预测数据集和混沌数据集上优于各种长期时间序列预测方法。

    Feb, 2024

  • 学习具有时间感知行为的循环神经网络动态

    本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

    Jun, 2023

  • 元学习深度能量型记忆模型

    本文提出了一种基于元学习的能量记忆模型，通过使用任意神经结构作为能量模型并快速将图案存储在其权重中，实现了对合成和自然数据的压缩记忆，并在重构误差和压缩率方面优于现有的记忆系统。

    Oct, 2019

  • 具有自下而上自组织特性的动力学方程，可在无损失函数的情况下学习精确的动力学层次结构

    本文提出了一种基于非线性动力学的学习系统，能够通过正反馈循环定义模式，并从时间序列数据中学习层次结构，这个系统在七个实验和两个现实问题中准确度足以超过现有非监督学习算法，同时展示了自组织是如何实现模式识别与简单的动力学方程中出现智能行为的潜力。

    Feb, 2023

  • 训练神经算子以保持混沌吸引子的不变量测度

    本文提出了一个针对混沌系统长期预测的框架，该框架旨在保留描述动力学的不变吸引子的不变统计特性。我们考虑两种方法来处理噪声数据的多环境设置中的训练，一种是基于观察到的动力学和神经操作器输出之间的最优输运距离的损失，另一种是不需要任何专业先前知识的对比学习框架。通过在各种混沌系统上进行实证验证，我们的方法在保持混沌吸引子的不变测度方面表现出很好的效果。

    Jun, 2023

  • 神经网络中的周期性外推归纳

    研究不同类型结构神经网络在周期性数据外推泛化问题上的表现，结果发现传统序贯模型在该任务上仍然表现优于新型周期网络和蛇形激活函数，而基于人口的训练方法最终达到了最佳效果。

    Sep, 2022

  • 神经符号大脑

    使用少量的稀疏随机噪声训练成为一种自持续的吸引子来制造符号，并将这些吸引子存储在寄存器中，利用这种机制，可以实现工作记忆，并可用于深度学习网络结构的设计。

    May, 2022