BriefGPT.xyz
Ask
alpha
关键词
gradient lower and upper bounds
搜索结果 - 1
通过傅里叶循环单元学习长期依赖关系
本文提出了一种简单的循环神经网络架构,即傅里叶循环单元 (FRU),它稳定了训练中出现的梯度,同时为我们提供了更强的表现能力。具体而言,FRU 使用傅里叶基函数概括了沿时间维度的隐藏状态 $h^{(t)}$,使得由于残差学习结构和三角函数的
→
PDF
6 years ago
Prev
Next