本文提出了基于结构化概率模型的 KFC 来近似求解卷积网络的 Fisher 矩阵，采用 Kronecker deomposition 来使得每个块都是小矩阵，从而实现更快的求逆和更高效的训练。实验表明，KFC 能够比 SGD 更快的训练卷积网络，具有在分布式环境中应用的潜力。
Feb, 2016
本文提出了一种基于张量分解的卷积层参数压缩方法，并将其与之前提出的压缩全连接层的方法结合，成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。
Nov, 2016
本文提出了一种简单而有效的框架，将现代卷积神经网络 (CNNs) 与全连接 (FC) 层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的 FC 层来提高 CNN 模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到 16%。
Oct, 2022
本文介绍了一种使用 Kronecker 乘积（KP）的方法来压缩适用于资源受限环境中的循环神经网络（RNN），KP 可以使 RNN 层的压缩率达到 15-38x，并且通过将其量化为 8 位可以进一步提高压缩因子至 50 倍，同时提高推断运行时间和任务准确度。作者提出了一种混合 KP（HKP）算法来解决由于压缩导致的准确度损失问题，并且可以通过添加少量的模型参数来控制压缩比，从而提高模型准确度。
Jun, 2019
通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。
Jan, 2024
本论文研究了如何使用 Tensor Train 格式转换全连接层的矩阵从而减少深度神经网络的参数数量和计算量，试验结论表明该方法可以将全连接层的参数压缩两百万倍，对整个网络的压缩比可达 7 倍。
Sep, 2015
通过将线性操作分解为较简单线性操作之和的乘积，我们提出了一种可以减少深度神经网络可训练模型参数数量的通用框架，用于各类神经网络结构，并展示了基于该框架的算法在 MNIST 和 Fashion MNIST 数据集上的表现。此外，我们探究了一种新的卷积层变换方法，不再需要卷积操作，这种方法可以任意改变可训练参数数量，并通过使用该框架在 MNIST 数据集上的实验验证了可用更少的参数获得更高的准确率的优点。
Sep, 2018
远程感知场景分类是一个具有挑战性和有价值的研究课题，其中卷积神经网络在其中发挥着至关重要的作用。本文提出了一种利用 Kronecker 积的新型特征融合算法，并讨论了与该算法相关的反向传播过程，实验证明了该方法在远程感知场景分类中提高卷积神经网络准确性的有效性。
该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。
Jul, 2018
我们提出了一种数据驱动的方法来压缩卷积神经网络，该方法通过级联投影法（CaP）实现高精度，高吞吐量和低内存要求，并使用反向传播和随机梯度下降等技术进行优化。
Mar, 2019