本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络要么拥有高空间复杂度，要么具有相当大的推理时间；这个问题对于移动应用程序尤其关键，因为不适用于与远程服务器进行不断的交互。

Aug, 2017

本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

Feb, 2019

使用一种基于优化快速字典学习算法的新型模型压缩方法 DirNet，来保证在资源受限的移动设备上实现高压缩率时的最小准确性损失。通过在神经网络的不同层级上动态挖掘字典原子并调整压缩率，并且自适应地改变稀疏编码的稀疏性，该方法在语言模型和 ASR 模型上进行实验，结果表明它比之前的方法显著优越。在现有移动设备上进行评估，我们能够将原始模型的大小缩小八倍，并实现实时模型推理，同时几乎没有准确性损失。

Jun, 2018

本研究旨在实现恰当地压缩循环神经网络的目的，并提出了一种同时压缩循环和非循环层权重矩阵的通用压缩技术。通过这种方法，将 LSTM 声学模型减小到原来的三分之一，同时保持准确性可接受。

Mar, 2016

通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

Apr, 2018

本研究提出使用分层 Tucker 分解压缩循环神经网络，提高了其表示能力且相比于 TT-LSTM、TR-LSTM、BT-LSTM 等现有压缩模型，在不同数据集上同时实现了压缩比和测试准确度的显著提升。

May, 2020

本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

Apr, 2016

本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。

Oct, 2017

该论文提出了一种通过初始训练过程中修剪权重来减少模型参数的技术，以便在减小了模型大小的同时，保留了准确度并显著提高了推理时间，在基准测试中使用该技术可以将模型大小降低 90%，速度提高 2 倍至 7 倍

Apr, 2017

通过神经网络构建一套高效率图像压缩方法，新架构由编码器、解码器、二值化器和熵编码神经网络组成，可变压缩比率，能在感知度量上对 JPEG 进行改善，并取得了最好的表现。

Aug, 2016