本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。

Nov, 2016

本文介绍了一种使用 Tensor Train（TT）分解来压缩模型中的嵌入层的新方法，并在自然语言处理的广泛基准测试中评估了其性能与压缩比之间的平衡。

Jan, 2019

本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

May, 2023

本文介绍了一种基于 Tensor Ring Networks（TR-Nets）的神经网络压缩方法，通过在深度学习模型的全连接层和卷积层中应用该方法，能够显著地减少网络的计算和存储需求，且在保证模型准确率的前提下，能将模型的体积压缩数百倍，极大提升模型在资源受限设备上的可用性。

Feb, 2018

卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

Mar, 2024

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017

本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

Dec, 2014

本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

Sep, 2015

本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。

Oct, 2020

提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015