- 早期 Transformer：通过提前中签抽奖实现 Transformer 模型的高效训练
通过组合迭代剪枝、遮蔽距离计算和选择性重训练等方法，本研究调查并验证了早鸟票假设对 Transformer 模型训练效率的适用性。实验结果表明，在 Transformer 模型的训练或微调的前几个周期内，可以持续发现早鸟票，并且在显著减少资 - ICLR随机子网络退火：修剪子网络精调的正则化技术
剪枝方法是减少深度神经网络规模和计算复杂性的一种有效方式。引入了一种称为随机子网络退火的正则化技术，该方法通过逐渐移除少量参数来调整子网络，从而在高稀疏度下实现平滑且更强健的优化过程。
- 基于稀疏矩阵草图的剪枝基于幅度的泛化界限
本文基于 Arora 等人的研究，在获得有效率的 Magnitude-Based 压缩算法的基础上，针对神经网络进行剪枝和误差边界研究，并通过迭代剪枝算法在 MNIST 和 CIFAR10 数据集上进行了实验验证。
- 对模型压缩中数据增强的再探讨：一项实证和综合性研究
本文研究深度图像神经网络模型压缩与数据增广之间的关系，发现不同大小的模型喜欢不同大小的增广，且可以通过预测已训练模型来度量数据增广的难度，从而提出更好的数据增广策略。
- ACL使用原则重要性和自我正则化剪枝预训练语言模型
本研究提出了一种基于等式约束的 0-1 整数线性规划问题和自我正则化机制的迭代模型修剪方法，应用于各种基于 Transformer 的 PLMs，使得在高稀疏度时具有更好的泛化性能。
- HomoDistil: 预训练 Transformer 的同拓扑无关任务蒸馏
本文提出了一种基于迭代剪枝的新型无需任务特定指导的蒸馏方法 ——Homotopic Distillation（HomoDistil），旨在实现在小的计算成本和存储占用下，通过迁移知识来产生一个紧凑的预训练模型，并通过大量实验表明，与现有基线 - ICML通过迭代修剪减少神经网络复杂度的 DropNet
通过迭代剪枝最低激活值方法，提出 DropNet 来简化深度神经网络，实验结果表明，最高可减少 90% 的节点 / 滤波器而不影响精度，并证明 DropNet 与贪婪算法相似。
- ACL预训练神经网络剪枝的对齐权重正则化器
本论文研究了迭代剪枝在零样本测试性能上的影响，特别是对跨语言模型的影响，提出了两种权重正则化方法以缓解剪枝引起的跨语言性畸变，并实现了良好的性能表现。同时，这也是关注跨语言语言模型压缩的首个研究。
- 迭代基于激活的结构化剪枝
本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。
- ECCV皮损分类中获胜模型的特性
本文通过采用 Lottery Ticket Hypothesis 修剪算法，对深度学习模型在皮肤癌检测领域中的应用进行了研究，证明使用该算法可以获得更小的神经网络并提高准确率，在性别和年龄等细分领域的部分小组中准确率的提高更为显著。
- Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络
本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪 - NIPS模拟指导的迭代剪枝网络压缩方法
本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。