神经网络剪枝的自动图编码器解码器
本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术,用于识别 DNN 的拓扑结构和寻找合适的压缩策略,实现模型压缩并获得更高的压缩比和竞争性的性能。
Feb, 2021
本文介绍了使用强化学习算法构建的自动化神经网络模型压缩方法 ——AutoML for Model Compression(AMC),该方法在保持模型准确性的同时,相较于传统的基于规则的压缩方法,具有更高的压缩比,从而实现了在性能和精度之间的最优平衡,并将此方法成功应用于 MobileNet 优化。
Feb, 2018
本研究提出了一种名为 AutoMC 的自动工具,用于模型压缩,通过建立模型压缩领域的专业知识,结合历史评估信息,采用渐进式搜索策略探索 pareto 最优压缩方案,并在短时间内提供令人满意的压缩方案。
Jan, 2022
使用强化学习方法的算法框架 Galen,可以自动压缩特定硬件目标的神经网络模型,不仅支持修剪、量化等压缩方法的联合搜索,还将目标硬件设备上的推理延迟作为优化目标,通过该方法能够将 CIFAR-10 上的 ResNet18 模型,在嵌入式 ARM 处理器上推理延迟仅为原始延迟的 20%,精度损失不大。
Dec, 2022
通过自我监督压缩技术,我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs),并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型,并且实现了在不同压缩粒度下的有意义比较。
Jul, 2020
本研究针对动态多接入边缘计算网络中的 CNN 推理进行计算卸载的研究,提出了一种新颖的语义压缩方法 AECNN,通过自编码器构建的 CNN 架构,在部分卸载中进行有效的语义提取和压缩,并通过图强化学习的方法 GRL-AECNN 解决卸载问题,具有优于现有方法的性能。
Jan, 2024
AdaDeep 是一种自适应深度神经网络压缩框架,可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数,可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。
Jun, 2020
该论文介绍了一种名为 “深度压缩” 的技术,通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍,而同时不影响网络的准确性,该技术可以在嵌入式系统中使用,可以极大地提升模型的应用性能。
Oct, 2015
本研究提出了一种基于强化学习的数据驱动方法来学习神经网络的压缩模式,可以在维持与输入网络相似的性能的同时实现超过 10 倍的模型压缩,并且通过预训练小型‘teacher’网络的策略可以加速大型‘teacher’网络的训练。
Sep, 2017
本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法,该方法实现了两阶段压缩:剪枝和量化,并在 CIFAR-10 和 ImageNet 数据集进行了实验,结果表明该方法能够在减小模型大小的同时保证分类精度。
Dec, 2019