从神经数据推断随机低秩循环神经网络

Jun, 2024

从神经数据推断随机低秩循环神经网络

Inferring stochastic low-rank recurrent neural networks from neural data

Matthijs Pals, A Erdem Sağtekin, Felix Pei, Manuel Gloeckler, Jakob H Macke

TL;DR我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

Abstract

A central aim in computational neuroscience is to relate the activity of large populations of neurons to an underlying dynamical system. Models of these neural dynamics should ideally be both interpretable and fi

computational neuroscience large populations of neurons low-rank recurrent neural networks variational sequential monte carlo methods latent dynamics

发现论文，激发创造

利用生成循环神经网络识别非线性动力系统及其在 fMRI 中的应用

本研究提出了一种基于状态空间模型的计算动力学分析方法，结合 PLRNN 和 fMRI 等神经成像数据，可以深入分析神经系统的非线性动力学特征，并为神经系统的临床评估和神经科学研究提供新的方法。

Feb, 2019

用于语言建模的可伸缩循环神经网络贝叶斯学习

本文提出了基于贝叶斯学习的算法，通过引入随机梯度 Markov Chain Monte Carlo 的思想对 RNN 模型进行权重不确定性学习，从而提高模型在各个任务上的表现。

Nov, 2016

神经动态的低张量秩学习

通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。

Aug, 2023

嘈杂循环神经网络

研究透过向隐含状态注入噪音训练的递归神经网络，已证实该方法可提升其稳定性及鲁棒性。

Feb, 2021

贝叶斯递归神经网络

使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。

Apr, 2017

学习随机递归网络

本文介绍一种基于变分推断的循环神经网络模型 ——Stochastic Recurrent Network（STORN），通过引入潜变量来提高循环神经网络的性能，实现了结构化和多模态条件下的建模。作者在四个多声部音乐数据集和运动捕捉数据上对该模型进行了评估。

Nov, 2014

大规模循环网络中神经动力学的普遍性和个体差异

通过研究数千个基于神经科学的任务训练的网络，我们发现基于表示几何的相似度测量在不同网络结构中可能高度敏感，并且无论架构如何，神经动力学的计算骨架通常表现出普遍性。

Jul, 2019

神经随机波动率模型

这篇论文展示了最近将统计模型与深度循环神经网络相结合提供了一种描述波动度（时间序列的变化程度）模型的新方法，其中包含了一对互补随机循环神经网络，应用在金融领域的时间序列分析和预测。在实现的过程中，作者着重处理了基于随机循环神经网络的波动度动态变化。实际基于股票价格数据的实验证明，这个模型的波动度预测比其他流行模型例如确定性模型 (GARCH)、基于 MCMC 的模型 (stochvol) 和高斯波动过程模型 (GPVol) 有更高的可靠性。

Nov, 2017

脉冲神经元网络中的长短时记忆和学习 - to-learn

研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络（RSNNs）中，从而优化网络结构，实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。

Mar, 2018

具有随机层的序列神经模型

本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

May, 2016