Oct, 2017

离散事件，连续时间的循环神经网络

PDF
TL;DR本文研究了用于事件序列处理的循环神经网络架构，描述了四种归纳偏差的形式，介绍了一种连续时间 GRU，并将这些偏差通过内在时间动态和事件时间戳扩展到 GRU 中，最终指出集成连续时间动态的神经网络架构具有潜在优势。
recurrent neural networkevent-sequence processinginductive biascontinuous-time grumemory
发现论文，激发创造
  • 使用连续循环单元对不规则时间序列进行建模

    本研究提出了一种称为连续循环单元 (CRUs) 的神经网络架构，它可以自然地处理不规则的时间间隔观察数据。研究发现，这种架构具有时间上的连续性和优化集成嘈杂观察的门控机制。我们在挑战性数据集上对 CRU 进行了实证研究，并发现它比基于神经微分方程的方法更好地插值了不规则时间序列。

    Nov, 2021

  • 通过连续时间动力系统的视角看门控循环单元

    使用连续时间分析，我们对 Gated recurrent units (GRUs) 的内部运作获得了直观的理解。我们发现了一些意想不到的动态特征，同时我们无法训练 GRU 网络产生连续的吸引子，这也是生物神经网络存在的假设。

    Jun, 2019

  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • 通过活动稀疏性和时间上的稀疏反向传播实现高效的循环神经网络结构

    通过实现神经元活动的动态稀疏化，提出了一种基于门控循环单元（GRU）并适用于新颖的节能神经形态硬件的递归神经网络（RNN）的通信稀疏离散化解决方案。该模型在不影响任务性能的前提下实现了高效，与现有最先进的循环神经网络模型在语言建模等实际任务中表现同样出色。

    Jun, 2022

  • Phased LSTM: 加速长序列或基于事件序列的循环网络训练

    引入 Phased LSTM 模型，通过添加带有频率范围的参数化振荡的新时间门控制的 LSTM 单元扩展，使得模型更适合处理来自不同传感器且具有不同更新间隔的不规则采样数据，即异步事件流，可在具有长序列的学习任务中以较少的计算次数运行，既适用于处理传感器信号，也适用于标准的 RNN 应用。

    Oct, 2016

  • 连续时间循环神经网络：概览及其在重症监护中预测血糖方面的应用

    本文介绍了在不规则测量环境中，利用神经普通微分方程或神经流层来提高自回归递归神经网络性能的不同 CTRNN 体系结构，研究表明，在血糖概率预测方面，只有 LSTM 和 ODE-LSTM 体系结构与渐进提升树模型具有相当的性能。

    Apr, 2023

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 离散傅里叶变换分析循环神经网络归纳偏置的实证研究

    本研究旨在揭示循环神经网络的归纳偏差，即输出序列频率，LSTM 和 GRU 的归纳偏差偏向于低频模式，而 Elman RNN 则倾向于学习高频输出模式，同时发现 LSTM 和 GRU 的归纳偏差会随着层数和隐藏层大小的变化而改变。

    May, 2023

  • 利用时序感知神经序列模型进行系统辨识

    本文介绍了一种基于时间的递归神经网络扩展模型，使其适用于不均匀采样的连续变量观测数据，并展示了该模型在两种工业输入 / 输出过程的样本中的有效性。

    Nov, 2019

  • GRU-ODE-Bayes：稀疏时间序列的连续建模

    提出了一种 GRU-ODE-Bayes 方法来建模真实世界的多维时间序列，该方法包括对神经普通微分方程的连续时间版本和处理不规则数据采样的贝叶斯更新网络，并证明了该方法在医疗保健和气候预测领域的应用中优于现有技术。

    May, 2019