ICLROct, 2018

h-detach：修改 LSTM 梯度以实现更好的优化

PDF
TL;DR本文介绍了一种针对长期依赖问题的 LSTM 优化方案，通过采用一种简单的随机算法（h-detach）可以避免梯度消失问题，通过提升梯度在计算图中的表现，进而提高模型优化的鲁棒性效果，使 LSTM 捕获更好的长期依赖关系并在多个基准数据集上显示出显着的性能提升。
发现论文，激发创造
  • 高阶递归神经网络用于声学建模

    本文提出了一种基于高阶循环神经网络 (HORNN) 的方法来解决训练标准循环神经网络 (RNN) 中的梯度消失问题，并通过使用 MGB3 数据集进行语音识别实验，证明了该方法可以显著减少字词错误率，同时使用仅为网络参数数目和计算量的 20%-50%。

    Feb, 2018

  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 通过高效 SVD 参数化稳定深度神经网络梯度

    本文提出了一种基于奇异值分解（SVD）的转移矩阵参数化方法，通过显式控制奇异值来解决在训练中发生的梯度消失和梯度爆炸问题，该方法在实验中表现出了更快的收敛速度和更好的泛化性能，特别是在捕捉长程依赖关系方面的表现较好。

    Mar, 2018

  • 使用随机无 Hessian 优化训练神经网络

    本文研究了利用曲率 - 向量积构建更新方向的 Hessian-free（HF）优化方法，在梯度和曲率小批量下实现的随机 HF 并添加防止过拟合的 dropout 方法，实现了介于 SGD 和 HF 之间的中间结果，对分类和深度自编码器实验都有良好表现。

    Jan, 2013

  • LSTM 和 GRU 的动态同构和平均场理论

    本研究使用平均场理论探究了 LSTMs 和 GRUs 中的信号传播，通过优化初始化超参数，开发出了一种新的初始化方案，解决了训练不稳定性问题，从而在多个序列任务上实现了成功的训练，并且在泛化能力上也有积极的影响。

    Jan, 2019

  • DeLELSTM：基于分解的线性可解释 LSTM，捕捉时间序列的瞬时和长期效应

    提出了一种基于分解的可解释 LSTM（DeLELSTM）来改进 LSTM 的可解释性，并在三个实验数据集上对其有效性和解释性进行了演示。

    Aug, 2023

  • 循环神经网络：梯度消失和梯度爆炸并非问题的终点

    递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的 RNN 取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的观点为解释 RNN 梯度学习中的一些困难以及为什么有些架构表现更好提供了新的解释。

    May, 2024

  • 深度多维循环神经网络学习的无 Hessian 优化

    本文通过使用 Hessian-free 优化算法，采用凸近似方式解决 CTC 目标函数的非凸性问题，成功深度训练了一个多达 15 层的 MDRNN，从而在序列标注方面取得了显著的性能提升。

    Sep, 2015

  • 梯度抛光：通过动态控制雅可比矩阵来改进梯度下降

    通过调节 Lyapunov 指数来稳定梯度并提高循环神经网络 (RNN) 训练的有效性，减缓梯度爆炸和梯度消失问题。

    Dec, 2023

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014