Dec, 2014
门控循环神经网络在序列建模中的实证研究
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence
Modeling
TL;DR本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的tanh单元更好，同时我们发现GRU与LSTM相当。