Jan, 2016

探索用于语音合成的门控循环神经网络

PDF
TL;DR本研究旨在回答两个问题：a）为什么长短期记忆（LSTM）作为一种序列模型在 SPSS 中表现良好；b）哪个元素（例如，输入门，输出门，遗忘门）最重要。 通过一系列实验以及视觉分析，我们提出了一种简化的架构，比 LSTM 具有较少的参数，从而大大降低了生成一般的复杂性而不降低质量。
发现论文，激发创造
  • 移动设备快速、紧凑、高质量基于 LSTM-RNN 统计参数语音合成器

    本文介绍在移动设备上部署的基于 LSTM-RNN 的 SPSS 的进一步优化，其中包括权重量化、多帧推理和鲁棒推理。使用了经过优化的 LSTM-RNN 的 SPSS 在运行时速度上可以与基于 HMM 的 SPSS 相媲美，同时保持自然性。对 LSTM-RNN - 基础的 SPSS 和基于 HMM 的单元选择语音合成之间的评估也在本文中呈现。

    Jun, 2016

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 通过修订门循环单元来提升语音识别

    本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

    Sep, 2017

  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020

  • LSTM: 一次搜索空间的奥德赛

    本文针对典型 Long Short-Term Memory（LSTM）网络的各种计算组件的角色和实用性进行了大规模分析，并在三个代表性任务上比较了八种 LSTM 变体。结果表明，遗忘门和输出激活函数是 LSTM 架构最关键的组件。此外，在研究的超参数方面，我们发现它们几乎是独立的，并提出了调整它们的有效指导方针。

    Mar, 2015

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015