AdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Dec, 2023

本论文介绍了一种基于 JAX 的裁剪和稀疏训练库 JaxPruner，旨在通过提供流行的裁剪和稀疏训练算法的简洁实现，减少内存和延迟开销，从而加速稀疏神经网络的研究，此外，JaxPruner 的算法使用公共 API，并与流行的优化库 Optax 无缝配合，使其易于与现有的基于 JAX 的库集成。本论文提供了四个不同代码库的示例，并在流行的基准测试上提供了基准实验。

Apr, 2023

本文介绍了 TextPruner，这是一个开源模型剪枝工具包，旨在为预训练语言模型提供快速和简便的模型压缩方法，包括词汇和转换器剪枝等结构化的后训练剪枝方法，并提出了一种自监督剪枝方法，可以节约模型尺寸，而无需重新训练模型。其应用能够用于各种模型和任务，并在多项 NLP 任务中展现出压缩模型大小的能力。

Mar, 2022

该研究提出了一种针对各种 DNN 层的精细结构修剪通用类别，并支持不同 DNN 和不同修剪方案的综合编译自动代码生成框架，进一步提出了一个编译器感知的网络修剪与架构搜索（NPAS) 方法，利用基于强化学习的元模型过程解决大规模搜索空间问题，以获得比先前工作更好的手机图像分类性能。

Dec, 2020

本文提出了一种名为 AutoPruner 的新型基于 Transformer 的调用图剪枝技术，通过统计语义和结构分析来消除调用图中的 false positive，相比现有技术在识别静态调用图中的 false positive 方面提高了 13% 的 F-measure 表现。

Sep, 2022

深度神经网络剪枝是减少模型大小、提高推理延迟和降低深度神经网络加速器功耗的一种关键策略。我们介绍了一种新型的、独立且可微的剪枝方法 (SMART pruner)，它通过利用独立的、可学习的概率掩码来排名权重重要性，采用可微分的前 k 个操作符实现目标稀疏性，并利用动态温度参数技巧逃离非稀疏局部最小值。实验证明，SMART pruner 在各种任务、模型和剪枝类型上始终表现出优于现有剪枝方法的优越性。此外，在 N:M 剪枝情况下，我们还针对基于 Transformer 的模型进行了测试，SMART pruner 也取得了最先进的结果，展示了它在各种神经网络架构和剪枝类型上的适应性和鲁棒性。

Mar, 2024

提出了一种新的多维修剪框架，可以同时优化通道、层和块的修剪，并满足延迟约束，通过将修剪重新构建为混合整数非线性规划 (MINLP)，能够高效地确定最佳修剪结构。该方法在大规模修剪比例下取得了显著的改进。

Jun, 2024

通过使用 ONNXPruner 适配器，我们提出了一种多功能的剪枝方法，该方法可以适用于不同的深度学习框架和硬件平台，通过使用节点关联树来指导剪枝过程，并通过树级评估方法进行全面分析，从而提高剪枝性能。

Apr, 2024

本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

Apr, 2020

提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

May, 2023