Dec, 2016

一种基于状态空间的分段线性循环神经网络方法，用于从神经测量数据重建非线性动力学

PDF
TL;DR开发了一个半解析的最大似然估计方案，用于基于状态空间模型的分段线性递归神经网络（PLRNNs）中，可以在观察到的神经元时间序列中恢复出相关的动态，并直接将其与计算特性联系起来。
neural systemsnetwork dynamicsstate space representationrecurrent neural networksmaximum-likelihood estimation
发现论文，激发创造
  • 利用生成循环神经网络识别非线性动力系统及其在 fMRI 中的应用

    本研究提出了一种基于状态空间模型的计算动力学分析方法，结合 PLRNN 和 fMRI 等神经成像数据，可以深入分析神经系统的非线性动力学特征，并为神经系统的临床评估和神经科学研究提供新的方法。

    Feb, 2019

  • 可计算的树突状循环神经网络用于重构非线性动力学系统

    本文介绍了一种基于线性样条基函数扩展动态可解释的分段线性循环神经网络（PLRNN）的方法，用于近似任意非线性动态系统。我们采用 BPTT 与教师强制以及快速可接受的变分推理两种框架对系统进行训练，并在各种动态系统基准测试上表明，这种方法具有更好的重建能力和更少的参数和尺寸。

    Jul, 2022

  • 从神经数据推断随机低秩循环神经网络

    我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

    Jun, 2024

  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024

  • 预测状态循环神经网络

    我们提出了一种新的模型，Predictive State Recurrent Neural Networks (PSRNNs)，用于过滤和预测动态系统中的信息。我们使用了循环神经网络 (RNNs) 和预测状态表示 (PSRs) 的见解，并继承了这两种模型的优势。我们表明，我们的模型可以通过联合反向传播算法和基于统计一致性的学习算法 Two-Stage Regression (2SR) 的初始化来有效地学习和因数分解模型大小，以减少模型计算时间和提高模型性能。通过实验，我们证明了在所有情况下，PSRNNs 比其他常见的动态系统建模方法都有更好的表现。

    May, 2017

  • 利普希茨循环神经网络

    本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个 Lipschitz 非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN 在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用 Hessian 的分析证明我们的 Lipschitz 循环单元相对于其他连续时间 RNN 对输入和参数扰动更具稳健性。

    Jun, 2020

  • 具有随机层的序列神经模型

    本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

    May, 2016

  • 将循环、卷积、连续时间模型与线性状态空间层相结合

    本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

    Oct, 2021

  • 概率循环状态空间模型

    本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性， 并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

    Jan, 2018

  • 使用过度参数化递归神经网络学习低维状态空间

    本文研究了 Gradient Descent 在过参数化的线性循环神经网络上的外推性质，提供了理论证据表明算法会学习低维状态空间来建模长期记忆。实验验证了理论，表明线性和非线性循环神经网络可以通过学习低维状态空间来外推。

    Oct, 2022