本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

Nov, 2018

本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

Feb, 2019

本文提出了一种将低秩矩阵分解算法应用于 LSTM 网络不同递归操作的方法，探讨了在不同自然语言处理任务和模型组成部分中的有效性，并发现加性递归比乘性递归更重要。两种设置下我们进行了比较：1）压缩语言模型中核心 LSTM 递归，2）压缩在三个下游自然语言处理任务中评估 ELMo 的 biLSTM 层。

Aug, 2019

本文提出一种称为混合矩阵分解 (Hybrid Matrix Factorization) 的压缩技术，将低秩矩阵分解技术（LMF）的矩阵秩翻倍，采用智能混合结构，提高了准确性，并且在保持密集矩阵的同时，速度优于剪枝或结构矩阵压缩技术。在 5 个 NLP 基准测试中评估了此技术对多个任务（翻译，意图检测，语言建模）的影响，并表明，在类似准确性值和压缩因子的情况下，HMF 比剪枝快 2.32 倍以上，比 LMF 的准确性高 16.77%。

Oct, 2020

本文考虑在通过随机投影压缩的数据上准确高效地计算低秩矩阵或张量分解的问题。我们研究了在压缩域内执行分解并从恢复 (压缩) 因子中重构原始高维因子的方法，在矩阵和张量设置中，我们建立了这种自然方法能够证明恢复原始因子的条件。我们对合成数据进行了实验，证实了压缩因式分解在真实世界的基因表达和脑电时间序列数据集中的实际适用性，并支持这些理论结果。

Jun, 2017

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024

我们提出一种算法，利用矩阵的低秩结构来获得任意矩阵的低秩分解，通过向量量化和压缩技术实现了压缩比例和逼近精度之间的折衷。

Oct, 2023

本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络要么拥有高空间复杂度，要么具有相当大的推理时间；这个问题对于移动应用程序尤其关键，因为不适用于与远程服务器进行不断的交互。

Aug, 2017

利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

Jun, 2023

本文介绍一种基于神经网络与矩阵分解的方法，使用最优化技术得到潜在特征向量并据此构建神经网络，进而代替传统内积的矩阵分解方法，从而在一些测试数据集上达到更好的效果。

Nov, 2015