量化和剪枝对深度强化学习模型的影响
本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法,该方法实现了两阶段压缩:剪枝和量化,并在CIFAR-10和ImageNet数据集进行了实验,结果表明该方法能够在减小模型大小的同时保证分类精度。
Dec, 2019
本文介绍了一种名为Policy Pruning and Shrinking的深度强化学习算法,该算法利用迁移学习,通过迭代策略剪枝和缩小方法,实现了对深度神经网络的压缩表示,在不牺牲性能的情况下减少了计算成本。实验证明其在几个常见的强化学习环境中具有很强的性能。
Jan, 2020
本文提出了 PuRL,一种基于深度强化学习(RL)的神经网络剪枝算法,通过在每个剪枝步骤上提供奖励,可以在短时间内达到与现有最先进方法相当的稀疏性和准确性。 PuRL 在 ResNet-50 模型上实现了超过 80% 的稀疏性,并在 ImageNet 数据集上保持了 75.37% 的 Top-1 精度,并且可以很容易地适应于各种体系结构。
Jul, 2020
本研究探讨了如何在离线强化学习中应用神经网络修剪技术,通过离线修剪技术,可以在保证性能的情况下减少神经网络的大小,提高训练效率。实验结果证明在网络被修剪了95%的情况下,算法表现依然很好。
Dec, 2021
本文提出了一种基于梯度建网络拓扑演化的新型稀疏深度强化学习(DRL)训练框架RLx2,通过动态容量回放缓冲器实现稀疏模型中的坚韧价值学习和效率拓扑探索,实现了7.5~20倍的模型压缩,同时保持不到3% 的性能降低并减少20~50倍的FLOPs训练和推理开销。
May, 2022
使用强化学习方法的算法框架 Galen,可以自动压缩特定硬件目标的神经网络模型,不仅支持修剪、量化等压缩方法的联合搜索,还将目标硬件设备上的推理延迟作为优化目标,通过该方法能够将CIFAR-10上的ResNet18模型,在嵌入式ARM处理器上推理延迟仅为原始延迟的20%,精度损失不大。
Dec, 2022
通过联合采用修剪和量化,利用强化学习探索与低能耗相关的设计空间及其精度损失,我们提出了一种自动压缩深度神经网络的硬件感知框架,能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明,相比现有方法,我们的框架平均能耗降低39%,平均精度损失为1.7%。
Dec, 2023
利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型,在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能
Feb, 2024
在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化,从而达到能耗和延迟效率的提升,本研究针对不同强化学习算法及环境系统地进行了探索,并取得神经网络规模最多减小400倍的优化效果。
May, 2024