Archtree: 基于实时树结构探索的深度神经网络低延迟裁剪

Nov, 2023

Archtree: 基于实时树结构探索的深度神经网络低延迟裁剪

Archtree: on-the-fly tree-structured exploration for latency-aware pruning of deep neural networks

Rémi Ouazan Reboul, Edouard Yvinec, Arnaud Dapogny, Kevin Bailly

TL;DRArchtree 是一种新的基于延迟驱动的 DNN 结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。

Abstract

deep neural networks (DNNs) have become ubiquitous in addressing a number of problems, particularly in computer vision. However, DNN inference is computationally intensive, which can be prohibitive e.g. when considering edge devices. To solve this problem, a popular solution is

deep neural networks dnn pruning structured pruning latency-driven archtree

发现论文，激发创造

多维剪枝：带时延约束的通道、层和块剪枝

提出了一种新的多维修剪框架，可以同时优化通道、层和块的修剪，并满足延迟约束，通过将修剪重新构建为混合整数非线性规划 (MINLP)，能够高效地确定最佳修剪结构。该方法在大规模修剪比例下取得了显著的改进。

Jun, 2024

通过结构化剪枝在初始化时快速部署边缘计算中的 DNN

利用结构化剪枝技术，Reconvene 系统可快速生成适用于边缘部署的经剪枝模型，大小减小了 16.21 倍，速度加快 2 倍，同时保持与未经剪枝的模型相同的准确性。

Apr, 2024

通过神经架构搜索对预训练语言模型进行结构修剪

基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

May, 2024

FPGA 资源感知的实时神经网络结构剪枝

通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

Aug, 2023

重新思考网络剪枝的价值

本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

Oct, 2018

训练前的单次结构化剪枝

使用结构化剪枝在训练之前使速度提高 2 倍，在推理中提高 3 倍的方法。通过删除整个通道和隐藏单元的方法来加快训练和推理，使用基于感受度每 FLOP 的计算感知得分机制来实现裁剪。

Jul, 2020

神经架构搜索中速度 / 精度平衡的部分排序修剪

提出了一种名为 Partial Order Pruning 的自动体系结构搜索算法，该算法可提供具有最佳速度和准确度折衷的搜索网络的更好的速度 / 准确度折衷，此算法明确考虑了目标平台上推理速度的概要信息，通过搜索解码器体系结构，得到了 DF-Seg 实时分割网络，在目标嵌入式设备和高端 GPU 上提供了最先进的速度 / 准确度折衷。

Mar, 2019

深度卷积神经网络的结构化剪枝

使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

Dec, 2015

深度卷积神经网络的辅助门控结构自动分块剪枝

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

Feb, 2020