BriefGPT.xyz
Ask
alpha
关键词
long-term dependency structure
搜索结果 - 1
使用 ReLU 激活函数的循环神经网络的路径归一化优化
研究了循环神经网络参数空间的几何形状,并开发了一种适应于该几何形状的路径 - SGD 优化方法,它可以学习具有 ReLU 激活的普通 RNN。在一些需要捕捉长期依赖结构的数据集上,我们证明 path-SGD 可以显著提高 ReLU RNN
→
PDF
8 years ago
Prev
Next