long term dependencies | BriefGPT

关键词long term dependencies

搜索结果 - 5

ICLRh-detach：修改 LSTM 梯度以实现更好的优化
本文介绍了一种针对长期依赖问题的 LSTM 优化方案，通过采用一种简单的随机算法（h-detach）可以避免梯度消失问题，通过提升梯度在计算图中的表现，进而提高模型优化的鲁棒性效果，使 LSTM 捕获更好的长期依赖关系并在多个基准数据集上显
PDF6 years ago
ICLRSkip RNN: 循环神经网络中学习跳过状态更新
介绍 Skip RNN 模型，可以通过学习跳过状态更新的方式解决 RNN 在长序列上训练时梯度消失和长期依赖的困难问题，并能够减少所需的 RNN 更新次数，同时保持或提高基线 RNN 模型的性能。
PDF7 years ago
树状记忆网络用于建模长期时间依赖关系
提出了一种基于树形记忆网络的序列映射模型，用于捕获长期和短期依赖关系，并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。
PDF7 years ago
残差 LSTM: 远场语音识别深度循环神经网络的设计
本研究提出了一种新的深度循环神经网络架构，残差 LSTM，该架构通过增加空间快捷路径来实现高效训练，与之前的工作相比表现更佳。
PDF7 years ago
循环正交网络和长记忆任务
本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。
PDF8 years ago