利用多阶段图嵌入和强化学习的拓扑感知网络剪枝

ICMLFeb, 2021

利用多阶段图嵌入和强化学习的拓扑感知网络剪枝

Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning

Sixing Yu, Arya Mazaheri, Ali Jannesari

TL;DR本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术，用于识别 DNN 的拓扑结构和寻找合适的压缩策略，实现模型压缩并获得更高的压缩比和竞争性的性能。

Abstract

model compression is an essential technique for deploying deep neural networks (dnns) on power and memory-constrained resources. However, existing model-compression methods often rely on human expertise and focus

dnns model compression graph neural networks reinforcement learning compression ratios

发现论文，激发创造

神经网络剪枝的自动图编码器解码器

本文介绍了一种基于图神经网络和强化学习的自动压缩深度神经网络的方法，与手工规则的方法相比较具有更好的性能和更高的压缩比，通过多组实验验证了本方法的有效性。

Nov, 2020

通过两阶段深度强化学习进行深度模型压缩

本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

Dec, 2019

复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

Aug, 2022

硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

Dec, 2023

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

模拟指导的迭代剪枝网络压缩方法

本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。

Feb, 2019

N2N Learning: 基于策略梯度增强学习的网络压缩

本研究提出了一种基于强化学习的数据驱动方法来学习神经网络的压缩模式，可以在维持与输入网络相似的性能的同时实现超过 10 倍的模型压缩，并且通过预训练小型‘teacher’网络的策略可以加速大型‘teacher’网络的训练。

Sep, 2017

强化学习任务的神经网络压缩

在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。

May, 2024

网络边缘的深度学习架构

通过适用于边缘云资源的自适应压缩感知裂化学习方法，我们可以改善和训练深度学习模型，使其在网络上更加高效，并通过变换学习方法扩展训练，以换取更高效的推理能力，而不损失准确性。

Nov, 2023

深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

Oct, 2015