本文利用 Kronecker 分解技术对预训练语言模型进行压缩，在保证模型高通用性的同时，将模型大小压缩至原大小的 5%，并在多个 NLP 基准测试上实现更好的性能和全新的 out-of-distribution 鲁棒性表现。

Sep, 2021

我们介绍了一种新的神经网络模型压缩方法 TQCompressor，并使用改进的张量分解技术解决预训练语言模型在 NLP 任务中计算和存储需求方面的挑战。我们通过置换增强 Kronecker 分解，成功降低了模型表示能力的损失。我们将该方法应用于 GPT-2$_{small}$，得到了 TQCompressedGPT-2 模型。与 GPT-2$_{small}$ 的 124 百万参数相比，TQCompressedGPT-2 模型仅有 81 百万参数。我们公开提供了 TQCompressedGPT-2 模型。我们通过多步知识蒸馏的训练策略进一步提升了 TQCompressedGPT-2 的性能，仅使用 3.1％的 OpenWebText 语料库。在比较评估中，TQCompressedGPT-2 优于 DistilGPT-2 和 KnGPT-2，标志着在资源受限环境中高效有效地部署模型的进展。

Jan, 2024

利用生成式预训练模型进行信息压缩，估计少样本学习的最优信息距离，以及直接应用于定量文本相似性测量的方法。

Aug, 2023

本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

Jul, 2023

通过对不同层次的大语言模型进行研究，本文发现多数层次的输出存在显著的相似性，并且随着模型规模的增加，这种相似性更加明显。基于这种观察，我们提出了一种高效的模型体积压缩策略，称为 FoldGPT，该策略通过块删除和块参数共享来实现模型轻量化。实验证明，FoldGPT 在高效模型压缩方面优于先前的最新方法，证明通过简单的块删除和参数共享实现模型轻量化是可行的。

Jul, 2024

本文基于 Kronecker 分解技术提出了一种方法来减少知识图嵌入模型中的参数数量，拥有更好的参数效率、特征重用和对输入噪声的鲁棒性，在基准数据集上进行了一系列实验表明其有效性。

May, 2022

本研究通过将全连接层的矩阵替换为相应的张量列车矩阵结构以减少 GPT-2 体系结构的参数数量，并提出了一种可扩展的张量化层，以提高模型效率和最终模型的稳定性。

Jun, 2023

SliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。

Jan, 2024

本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

Apr, 2022

探索利用张量分解实现更大的压缩比率来压缩 BERT 模型的研究，取得了可接受的性能损失并显著提高了推理效率，最高压缩至原模型的 1/48，且在 GLUE 基准测试中取得了与原模型相当或略优的表现，该方法相对于蒸馏等现有的压缩方法独立有效。

May, 2022