本研究提出了一种自动压缩深度神经网络的方法 (OTOv2)，它通过将可训练变量分配到零不变组合中，并使用新颖的 DHSPG 优化器来自动构建高性能的压缩模型，同时将其应用于各种模型结构的图像分类任务，并在大多数数据集上表现优秀，是一种通用且可自主训练的模型压缩方法。

Mar, 2023

本研究提出一种新的框架，通过 OPO（只训练一次）将 DNN 网络压缩成性能出色、FLOPs 很小的较瘦的架构， OTO 将两个关键因素组合在一起：（1）将 DNN 网络参数分成零不变组，使我们能够修剪零组而不影响输出；（2）为了促进零组，我们进一步制定了一个结构稀疏最优化问题，并提出了一个新的优化算法 ——HSPG（半空间随机投影梯度），用于解决它。

Jul, 2021

提出第三代 “只训练一次（OTOv3）” 自动化系统，在不需要人工手工干预的情况下训练通用超级网络，并以单次方式生成高性能子网络，该系统在广泛的超级网络上实现了很好的优化性能，并且相对于超级网络及其他技术水平优越的性能。

May, 2023

我们提出了 Auto-Train-Once（ATO）算法，旨在自动减少深度神经网络的计算和存储成本，通过训练目标模型同时利用控制器网络作为架构生成器来指导目标模型权重的学习，并利用新颖的随机梯度算法增强模型训练和控制器网络训练之间的协调，从而提高剪枝性能。在本文中，我们提供了全面的收敛分析和大量实验，结果表明我们的方法在各种模型架构（包括 ResNet18、ResNet34、ResNet50、ResNet56 和 MobileNetv2）以及标准基准数据集（CIFAR-10、CIFAR-100 和 ImageNet）上实现了最先进的性能。

Mar, 2024

本文提出 AutoCompress，一种自动结构化剪枝框架，可实现超高剪枝比率，同时提供自动超参数确定过程，以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法，并提出了一种新的附加净化步骤，无需损失准确性进行更进一步的权重减少，其有效的启发式搜索方法通过基于经验的指导搜索进行增强，代替了具有潜在不兼容性的问题的先前深度强化学习技术。

Jul, 2019

结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA 在不同架构、流行框架和不同修剪时间上表现出与现有技术相当的修剪性能。OBSPA 是一种无需微调或校准数据即可实现最先进的修剪结果的算法。

Mar, 2024

本文通过结构剪枝方法在大规模视觉和语言模型中降低推理成本，提出了一种基于组合优化的框架，利用层间重构目标和低秩更新的本地组合优化算法，显著改善了先前方法在视觉模型和语言模型上的性能。

Mar, 2024

本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

May, 2022

Archtree 是一种新的基于延迟驱动的 DNN 结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。

Nov, 2023

本文提出了 GOHSP，一个统一的基于图形和优化的结构化剪枝框架，用于基于 ViT 模型的计算机视觉任务的参数压缩，达到了优秀的剪枝效果，例如，在 CIFAR-10 数据集上，使用本文的方法可以将 ViT-Small 模型的参数减少 40％，并不会损失准确性，在 ImageNet 数据集上，使用本文的方法，DeiT-Tiny 和 DeiT-Small 模型可以获得比现有的结构化剪枝方法更高的准确性。

Jan, 2023