Jun, 2020
利普希茨循环神经网络
Lipschitz Recurrent Neural Networks
TL;DR本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个Lipschitz非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用Hessian的分析证明我们的Lipschitz循环单元相对于其他连续时间RNN对输入和参数扰动更具稳健性。