Apr, 2016

学习紧凑循环神经网络

PDF
TL;DR本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。
recurrent neural networkslstmspeech recognitioncompact modelslow-rank factorizations
发现论文，激发创造
  • 基于压缩的循环神经网络用于高效语言建模

    本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

    Feb, 2019

  • 循环神经网络压缩及其在嵌入式语音识别 LVCSR 声学建模中的应用

    本研究旨在实现恰当地压缩循环神经网络的目的，并提出了一种同时压缩循环和非循环层权重矩阵的通用压缩技术。通过这种方法，将 LSTM 声学模型减小到原来的三分之一，同时保持准确性可接受。

    Mar, 2016

  • 语言建模的神经网络压缩

    本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络要么拥有高空间复杂度，要么具有相当大的推理时间；这个问题对于移动应用程序尤其关键，因为不适用于与远程服务器进行不断的交互。

    Aug, 2017

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 低秩矩阵分解在 LSTM 模型压缩中的有效性研究

    本文提出了一种将低秩矩阵分解算法应用于 LSTM 网络不同递归操作的方法，探讨了在不同自然语言处理任务和模型组成部分中的有效性，并发现加性递归比乘性递归更重要。两种设置下我们进行了比较：1）压缩语言模型中核心 LSTM 递归，2）压缩在三个下游自然语言处理任务中评估 ELMo 的 biLSTM 层。

    Aug, 2019

  • LightRNN: 记忆和计算高效的循环神经网络

    提出了一种新的 RNN 算法，使用 2-Component 共享嵌入表示单词，并成功地将其应用于语言建模任务，大大减少了模型大小和训练时间。

    Oct, 2016

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 使用张量环压缩循环神经网络以进行动作识别

    提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

    Nov, 2018

  • LSTM 网络的分解技巧

    本文提出利用矩阵因子分解和矩阵划分两种方法来降低参数数量和加速训练大型 LSTM 网络的方法，并成功实现了在参数数量显著减少情况下接近最先进水平的困惑度。

    Mar, 2017

  • 适用于循环神经网络语言模型的瘦身嵌入层

    本文介绍了一种通过在 RNN 中的输入和输出嵌入层共享参数来压缩模型参数的方法，实验证明该方法可大幅减小模型参数的大小，但仍能在自然语言处理中保持模型的准确性和性能表现。

    Nov, 2017