Jun, 2019

通过连续时间动力系统的视角看门控循环单元

PDF
TL;DR使用连续时间分析，我们对 Gated recurrent units (GRUs) 的内部运作获得了直观的理解。我们发现了一些意想不到的动态特征，同时我们无法训练 GRU 网络产生连续的吸引子，这也是生物神经网络存在的假设。
gated recurrent units (grus)neural networksdynamicscontinuous time analysisbiological neural networks
发现论文，激发创造
  • 使用水平门循环单元学习长距空间依赖

    使用水平门控循环单元层，可以取得与甚至优于当前最先进的深度学习结构相当的效果，在长空间范围内检测相互依赖的视觉特征上表现出色。

    May, 2018

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 离散事件，连续时间的循环神经网络

    本文研究了用于事件序列处理的循环神经网络架构，描述了四种归纳偏差的形式，介绍了一种连续时间 GRU，并将这些偏差通过内在时间动态和事件时间戳扩展到 GRU 中，最终指出集成连续时间动态的神经网络架构具有潜在优势。

    Oct, 2017

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • 使用连续循环单元对不规则时间序列进行建模

    本研究提出了一种称为连续循环单元 (CRUs) 的神经网络架构，它可以自然地处理不规则的时间间隔观察数据。研究发现，这种架构具有时间上的连续性和优化集成嘈杂观察的门控机制。我们在挑战性数据集上对 CRU 进行了实证研究，并发现它比基于神经微分方程的方法更好地插值了不规则时间序列。

    Nov, 2021

  • 统计复发单元

    通过 Bayesian optimization 方案优化模型超参数，我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。

    Mar, 2017

  • 门控循环单元（GRU）神经网络的门控变体

    本文通过减少更新和重置门中的参数，评估了三种变体的门控循环单元在递归神经网络中的性能。在 MNIST 和 IMDB 数据集上验证表明，这些门控循环单元的变体模型可以在降低计算成本的同时表现出与原始模型相当的性能。

    Jan, 2017

  • 用于自动语音识别的稳定加速的光门循环单元

    本文提出了一种名为 SLi-GRU 的新颖神经网络结构，通过工程机制将其训练时间缩短五倍，进行了自动语音识别任务验证，证明了相比于其他复杂的递归神经网络，此结构具有更低的词语错误率。

    Feb, 2023

  • 光门循环单元（LG-RU）用于语音识别

    本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

    Mar, 2018