Feb, 2024

用动态结构化剪枝方法压缩深度增强学习网络在自动驾驶中的应用

PDF
TL;DR利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能
deep reinforcement learningstructured pruningautonomous drivingneuron importancedynamic pruning threshold
发现论文，激发创造
  • 大规模神经架构的反向传播压缩：结构化激活剪枝

    通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

    Nov, 2023

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 结构化剪枝中连续松弛的泛化

    使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

    Aug, 2023

  • 强化学习剪枝深度神经网络

    本文提出了 PuRL，一种基于深度强化学习（RL）的神经网络剪枝算法，通过在每个剪枝步骤上提供奖励，可以在短时间内达到与现有最先进方法相当的稀疏性和准确性。 PuRL 在 ResNet-50 模型上实现了超过 80％ 的稀疏性，并在 ImageNet 数据集上保持了 75.37％ 的 Top-1 精度，并且可以很容易地适应于各种体系结构。

    Jul, 2020

  • AutoCompress: 一款用于超高压缩率的自动 DNN 结构剪枝框架

    本文提出 AutoCompress，一种自动结构化剪枝框架，可实现超高剪枝比率，同时提供自动超参数确定过程，以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法，并提出了一种新的附加净化步骤，无需损失准确性进行更进一步的权重减少，其有效的启发式搜索方法通过基于经验的指导搜索进行增强，代替了具有潜在不兼容性的问题的先前深度强化学习技术。

    Jul, 2019

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 强化学习任务的神经网络压缩

    在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。

    May, 2024

  • 线下增强学习单次剪枝

    本研究探讨了如何在离线强化学习中应用神经网络修剪技术，通过离线修剪技术，可以在保证性能的情况下减少神经网络的大小，提高训练效率。实验结果证明在网络被修剪了 95% 的情况下，算法表现依然很好。

    Dec, 2021

  • 深度强化学习的动态稀疏训练

    本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

    Jun, 2021

  • 通过神经元选择对递归神经网络进行结构化剪枝

    通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

    Jun, 2019