这篇论文首次调查了一种新兴的神经网络裁剪方式 —— 在初始化时裁剪（PaI），并介绍了其稀疏训练和稀疏选择两大主要方法。此外，该论文还提供了一个用于不同 PaI 方法的基准测试和检查的代码库。

Mar, 2021

利用轻量级 ConvNets，通过简单的权重重新计算策略来标定图像中的关键区域，从而实现对冗余补丁的显著剪枝并提高判别补丁的定位性能。通过该方法，可以在不再训练的情况下，对多种深度学习架构，包括 ConvNets 和 ViTs 等进行高效的冗余补丁减少，并取得了更高的准确性与更大的计算量减少。

Mar, 2024

本研究提出了一种名为 'LeHoPP' 的像素精简方法，可以提高基于图像的渲染网络的性能，从而在低带宽环境或实时应用中提高渲染速度和质量。

May, 2023

本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

Jan, 2022

本研究提出一种新的框架，通过 OPO（只训练一次）将 DNN 网络压缩成性能出色、FLOPs 很小的较瘦的架构， OTO 将两个关键因素组合在一起：（1）将 DNN 网络参数分成零不变组，使我们能够修剪零组而不影响输出；（2）为了促进零组，我们进一步制定了一个结构稀疏最优化问题，并提出了一个新的优化算法 ——HSPG（半空间随机投影梯度），用于解决它。

Jul, 2021

本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

Oct, 2021

针对异构遥感图像变化检测中高计算和内存开销的问题，本文提出了一种新的轻量级变化检测方法，该方法利用在线全整数修剪 (OAIP) 训练策略，通过当前的测试数据高效地微调变化检测网络，实验结果显示该方法在性能表现上与最先进的变化检测方法相当，但计算复杂度和内存使用方面显著减少。

May, 2024

我们提出了 Auto-Train-Once（ATO）算法，旨在自动减少深度神经网络的计算和存储成本，通过训练目标模型同时利用控制器网络作为架构生成器来指导目标模型权重的学习，并利用新颖的随机梯度算法增强模型训练和控制器网络训练之间的协调，从而提高剪枝性能。在本文中，我们提供了全面的收敛分析和大量实验，结果表明我们的方法在各种模型架构（包括 ResNet18、ResNet34、ResNet50、ResNet56 和 MobileNetv2）以及标准基准数据集（CIFAR-10、CIFAR-100 和 ImageNet）上实现了最先进的性能。

Mar, 2024

本文通过结构剪枝方法在大规模视觉和语言模型中降低推理成本，提出了一种基于组合优化的框架，利用层间重构目标和低秩更新的本地组合优化算法，显著改善了先前方法在视觉模型和语言模型上的性能。

Mar, 2024

介绍了一种用于修剪和训练深度图像生成网络的最佳眼科医生 (Optimal Eye Surgeon, OES) 框架，使用自适应修剪网络的方法，实现低频图像组件和去噪图像的生成。

Jun, 2024