采用交替方向乘子法（ADMM）的系统性权值剪枝框架解决了深度神经网络中常见的非凸优化问题和稀疏性约束问题，实现了较快的收敛速度和较优的剪枝效果。

Apr, 2018

该篇论文提出了一种基于 ADMM 的渐进式权重剪枝方法，可以在中等剪枝率下进行局部剪枝，从而达到极高的剪枝速率，避免了准确度降低和收敛速度缓慢的问题。该方法在 ImageNet 和 MNIST 数据集上实现了高达 34 倍和 167 倍的剪枝速率。

Oct, 2018

研究对于 DNN 模型的压缩有两类深入了解，如权重修剪和量化；文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN，该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比，并且在不损失准确性的情况下可以达到比以往更好的性能。

Dec, 2018

本文利用优化理论中的交替方向乘法器方法，发展了深度神经网络权重剪枝和聚类 / 量化的统一、系统的框架，旨在充分利用冗余，提高 DNN 性能。我们采用多种技术来进一步提高这一框架的性能，并实现了在 LeNet-5、AlexNet 和 VGGNet 等模型上的显著改善。

Nov, 2018

提出了一个系统性的结构裁剪框架来优化 DNNs，使用随机梯度下降和 ADMM，可以以更高的加速度进行优化，即使在一些有损准确性的情况下，模型的压缩率也能达到 15.0 倍。

Jul, 2018

通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

Mar, 2019

本文提出了一种基于交替方向乘法器的快速最优权重更新算法来修剪大型语言模型，配合简单的迭代修剪掩码选择，在广泛范围的大型语言模型中实现了最先进的剪枝性能。

Jan, 2024

提出一种融合 ADMM 算法和滤波器和列剪枝技术的 DNN 框架，包括网络净化和未使用通路去除算法，可在 LeNet-5、ResNet-18 CIFAR-10 和 AlexNet 上实现 232 倍、60 倍和 5 倍的压缩，以减少 DNN 框架资源的高计算和大内存存储的挑战。

Apr, 2019

这篇论文提出了一种统一而系统的基于忆阻器的框架，考虑了结构化权重剪枝和权重量化，并将交替方向乘子法（ADMM）纳入深度神经网络（DNN）训练中，以实现高准确度、低功耗和小面积占用率。在 VGG-16（ResNet-18）网络上，与原始 DNN 模型相比，该框架实现了 29.81X（20.88X）的权重压缩比，98.38％（96.96％）和 98.29％（97.47％）的功耗和面积降低，并仅有 0.5％（0.76％）的精度损失。

Aug, 2019

通过 ADMM 算法的系统框架，延伸了基于 ADMM 的神经网络权重量化方法，提出了一种逐步递进的神经网络权重量化方法，可实现更进一步的权重量化，并通过实验证明了优越的性能。

May, 2019