NIPSSep, 2015

深度多维循环神经网络学习的无 Hessian 优化

PDF
TL;DR本文通过使用 Hessian-free 优化算法，采用凸近似方式解决 CTC 目标函数的非凸性问题，成功深度训练了一个多达 15 层的 MDRNN，从而在序列标注方面取得了显著的性能提升。
multidimensional recurrent neural networkshessian-free optimizationconnectionist temporal classificationem algorithmsequence labeling
发现论文，激发创造
  • 使用随机无 Hessian 优化训练神经网络

    本文研究了利用曲率 - 向量积构建更新方向的 Hessian-free（HF）优化方法，在梯度和曲率小批量下实现的随机 HF 并添加防止过拟合的 dropout 方法，实现了介于 SGD 和 HF 之间的中间结果，对分类和深度自编码器实验都有良好表现。

    Jan, 2013

  • 多维递归神经网络

    本文介绍了多维循环神经网络 (MDRNNs) 的概念，扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用，同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。

    May, 2007

  • 多维循环神经网络中的细胞

    使用多维循环神经网络 (MDRNN) 与时序分类 (CTC) 的方法来识别图像上的手写文字，并通过引入一维 LSTM 单元的有用和必要属性来提高其稳定性，在 IFN/ENIT 和 Rimes 数据库上比较并展示其在手写字体识别上的提高效果。

    Dec, 2014

  • 高阶递归神经网络用于声学建模

    本文提出了一种基于高阶循环神经网络 (HORNN) 的方法来解决训练标准循环神经网络 (RNN) 中的梯度消失问题，并通过使用 MGB3 数据集进行语音识别实验，证明了该方法可以显著减少字词错误率，同时使用仅为网络参数数目和计算量的 20%-50%。

    Feb, 2018

  • 基于深度卷积神经网络的端到端语音识别

    本文提出将 CNN 与 CTC 相结合的端到端语音识别框架，以实现序列标记；在 TIMIT 音素识别任务中评估该方法并表明其在计算效率和性能上优于已有基线系统，并指出 CNN 具有利用适当上下文信息来建模时间相关性的能力。

    Jan, 2017

  • 卷积分层递归神经网络学习上下文依赖关系

    该研究提出了一种基于深度卷积神经网络和分层递归神经网络的图像分类模型，以更好地编码图像区域之间的空间和比例依赖关系，从而取得了在四个具有挑战性的目标 / 场景图像分类基准测试中最先进的结果。

    Sep, 2015

  • 循环高速公路网络

    本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

    Jul, 2016

  • 基于黎曼梯度下降的低秩张量列车深度神经网络的开发及其在语音处理上的应用

    本文旨在设计复杂度低的混合张量网络，通过深入研究模型复杂度和实际性能之间的权衡，我们提出了低秩张量列深度神经网络（LR-TT-DNN）和利用卷积神经网络（CNN）与 LR-TT-DNN 相结合的混合模型 CNN +（LR-TT-DNN），并在语音增强和口语命令识别任务上进行评估。我们的实证研究证明，LR-TT-DNN 和 CNN +（LR-TT-DNN）模型能够以更少的模型参数表现得比 TT-DNN 和 CNN +（TT-DNN）更出色。

    Mar, 2022

  • 快速准确的循环神经网络语音识别声学模型

    该论文介绍利用深度 LSTM 循环神经网络、CD 电话建模、帧叠加与减少帧率等技术来提高语音识别准确率的研究，并探讨了直接输出单词的 LSTM RNN 模型的初步结果。

    Jul, 2015

  • 一种基于原始 - 对偶方法的约束回声状态属性的递归神经网络训练方法

    本文提出了一个循环神经网络架构，利用一个全连接的深度神经网络作为其特征提取器，并采用原始 - 对偶训练方法进行学习，实现了 18.86% 的电话识别错误率并优于已有的方法。

    Nov, 2013