本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

May, 2023

我们提出了一种基于减少存储量直接张量环分解（RSDTR）的新型低秩 CNN 压缩方法，该方法具有更高的循环模排列灵活性，并以较大的参数和 FLOPS 压缩率为特点，同时保持压缩网络的良好分类准确性。与其他最先进的 CNN 压缩方法相比，对 CIFAR-10 和 ImageNet 数据集进行的实验证明了 RSDTR 的高效性。

May, 2024

本论文研究了如何使用 Tensor Train 格式转换全连接层的矩阵从而减少深度神经网络的参数数量和计算量，试验结论表明该方法可以将全连接层的参数压缩两百万倍，对整个网络的压缩比可达 7 倍。

Sep, 2015

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017

卷积神经网络（CNN）是最广泛使用的神经网络架构之一，在计算机视觉任务中展示出最先进的性能。通过 “张量化” 可以有效地减小较大的 CNN 的体积而保持准确性，本文通过评估截断密集（未进行张量化）CNN 的卷积核对其准确性的影响来探索这一问题，并发现这种 “相关压缩” 是如何在密集 CNN 中编码信息的固有特性。

Mar, 2024

提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015

本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。

Nov, 2016

通过引入 Tensor Ring 进行优化，提出了一种多层设计的 Tensor Ring 优化量子学习分类器（Quan-TR），取代了 Tensor Networks 的全连接层；通过在量子位测量上使用随机梯度下降算法，将 TR-QNet 参数进行优化。在 Iris、MNIST 和 CIFAR-10 等三个不同数据集上进行评估，证明了对于二分类问题实现了更高的精确度。通过对比 TN 模型的最新量子和经典实现进行基准研究，展示了所提出的 TR-QNet 的有效性。另外，TR-QNet 的可扩展性突出了其在大规模深度学习应用中的潜力。通过 Github 上的 PyTorch 实现可得到 TR-QNet。

Oct, 2023

本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

Apr, 2015

提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

Nov, 2018