量化和剪枝对深度强化学习模型的影响

Jul, 2024

量化和剪枝对深度强化学习模型的影响

The Impact of Quantization and Pruning on Deep Reinforcement Learning Models

Heng Lu, Mehdi Alemi, Reza Rawassizadeh

TL;DR本研究调查了两种突出的神经网络压缩方法（量化和修剪）对深度强化学习模型的影响，发现尽管模型大小减小，但这些压缩技术通常并不改善深度强化学习模型的能量效率，为在资源受限环境中部署高效的深度强化学习模型提供了指导方针。

Abstract

deep reinforcement learning (DRL) has achieved remarkable success across various domains, such as video games, robotics, and, recently, large language models. However, the computational costs and memory requirements of DRL models often limit their deployment in resource-constrained env

发现论文，激发创造

通过两阶段深度强化学习进行深度模型压缩

本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在CIFAR-10和ImageNet数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

Dec, 2019

PoPS:深度强化学习策略剪枝与收缩

本文介绍了一种名为Policy Pruning and Shrinking的深度强化学习算法，该算法利用迁移学习，通过迭代策略剪枝和缩小方法，实现了对深度神经网络的压缩表示，在不牺牲性能的情况下减少了计算成本。实验证明其在几个常见的强化学习环境中具有很强的性能。

Jan, 2020

强化学习剪枝深度神经网络

本文提出了 PuRL，一种基于深度强化学习（RL）的神经网络剪枝算法，通过在每个剪枝步骤上提供奖励，可以在短时间内达到与现有最先进方法相当的稀疏性和准确性。 PuRL 在 ResNet-50 模型上实现了超过 80％的稀疏性，并在 ImageNet 数据集上保持了 75.37％的 Top-1 精度，并且可以很容易地适应于各种体系结构。

Jul, 2020

线下增强学习单次剪枝

本研究探讨了如何在离线强化学习中应用神经网络修剪技术，通过离线修剪技术，可以在保证性能的情况下减少神经网络的大小，提高训练效率。实验结果证明在网络被修剪了95%的情况下，算法表现依然很好。

Dec, 2021

RLx2：零基础训练稀疏深度强化学习模型

本文提出了一种基于梯度建网络拓扑演化的新型稀疏深度强化学习（DRL）训练框架RLx2，通过动态容量回放缓冲器实现稀疏模型中的坚韧价值学习和效率拓扑探索，实现了7.5~20倍的模型压缩，同时保持不到3% 的性能降低并减少20~50倍的FLOPs训练和推理开销。

May, 2022

面向硬件特定的神经网络自动压缩技术

使用强化学习方法的算法框架 Galen，可以自动压缩特定硬件目标的神经网络模型，不仅支持修剪、量化等压缩方法的联合搜索，还将目标硬件设备上的推理延迟作为优化目标，通过该方法能够将CIFAR-10上的ResNet18模型，在嵌入式ARM处理器上推理延迟仅为原始延迟的20%，精度损失不大。

Dec, 2022

硬件感知的DNN压缩：通过多样化剪枝和混合精度量化

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低39%，平均精度损失为1.7%。

Dec, 2023

用动态结构化剪枝方法压缩深度增强学习网络在自动驾驶中的应用

利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能

Feb, 2024

深度强化学习的最优策略稀疏化和低秩分解

使用$L_0$-范数正则化技术稀疏化深度强化学习策略，通过低秩分解提供压缩效果，以减少计算资源消耗和限制过拟合。

Mar, 2024

强化学习任务的神经网络压缩

在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小400倍的优化效果。

May, 2024