本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法,该方法实现了两阶段压缩:剪枝和量化,并在 CIFAR-10 和 ImageNet 数据集进行了实验,结果表明该方法能够在减小模型大小的同时保证分类精度。
Dec, 2019
本研究提出了一种基于强化学习的数据驱动方法来学习神经网络的压缩模式,可以在维持与输入网络相似的性能的同时实现超过 10 倍的模型压缩,并且通过预训练小型‘teacher’网络的策略可以加速大型‘teacher’网络的训练。
Sep, 2017
本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术,用于识别 DNN 的拓扑结构和寻找合适的压缩策略,实现模型压缩并获得更高的压缩比和竞争性的性能。
Feb, 2021
本文提出在训练过程中明确考虑模型压缩,通过引入低秩正则化项使每层参数矩阵的秩尽量小,实现更有效的模型压缩。实验证明,这一方法比现有的压缩技术更加高效。
Nov, 2017
本文介绍了一种基于图神经网络和强化学习的自动压缩深度神经网络的方法,与手工规则的方法相比较具有更好的性能和更高的压缩比,通过多组实验验证了本方法的有效性。
Nov, 2020
本文介绍了一种新的深度神经网络压缩方法,在学习阶段增加额外的正则化项来减小全连接层的参数量,并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估,与现有方法相比,压缩率显著提高。
Sep, 2015
本文提出了三种图像压缩和去噪算法,以便将这些模型用于选择性体验重演的终身强化学习。经过测试,最大熵图像核心得到了最佳性能。
Jun, 2023
本文介绍了一种名为 LEO 的算法,该算法利用混合整数线性规划技术在线性行为上识别修正线性单元,以便使用 L1 规则进行训练,从而实现在有限计算资源下实现神经网络无损压缩。
Jan, 2020
在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化,从而达到能耗和延迟效率的提升,本研究针对不同强化学习算法及环境系统地进行了探索,并取得神经网络规模最多减小 400 倍的优化效果。
May, 2024
使用强化学习方法的算法框架 Galen,可以自动压缩特定硬件目标的神经网络模型,不仅支持修剪、量化等压缩方法的联合搜索,还将目标硬件设备上的推理延迟作为优化目标,通过该方法能够将 CIFAR-10 上的 ResNet18 模型,在嵌入式 ARM 处理器上推理延迟仅为原始延迟的 20%,精度损失不大。
Dec, 2022