GST：组稀疏训练以加速深度强化学习

CVPRJan, 2021

GST：组稀疏训练以加速深度强化学习

GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning

Juhyoung Lee, Sangyeob Kim, Sangjin Kim, Wooyoung Jo, Hoi-Jun Yoo

TL;DR为了加速深度强化学习在实际边缘设备中的运行，本文提出了一种基于分块循环压缩的权重压缩方法，名为组稀疏训练 (GST)，该方法在所有深度强化学习迭代中选择性地使用分块循环压缩，并通过奖励感知修剪动态地调整目标稀疏度，以实现稳定的训练，实验表明该方法在 Mujoco Halfcheetah-v2 和 Mujoco humanoid-v2 环境下的 TD3 训练中，平均压缩比比迭代修剪方法高 25% p-41.5% p，而且没有奖励降低。

Abstract

deep reinforcement learning (DRL) has shown remarkable success in sequential decision-making problems but suffers from a long training time to obtain such good performance. Many parallel and distributed DRL training approaches have been proposed to solve this problem, but it is difficu

deep reinforcement learning parallel training weight compression resource-limited devices block-circulant compression

发现论文，激发创造

深度强化学习的动态稀疏训练

本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

Jun, 2021

LearningGroup: 基于可学习的权重分组的 FPGA 实时稀疏训练，用于多智能体强化学习

本研究提出了一种名为 LearningGroup 的实时稀疏训练加速系统，采用针对多智能体强化学习的网络剪枝，并结合算法 / 架构协同设计。该系统在 FPGA 加速器上实现全面的芯片内训练和高度优化的数据流 / 数据格式，以最小化稀疏数据产生的周期时间和内存占用，并在处理稀疏数据的效率上显示出 12.52 倍的加速。

Oct, 2022

用动态结构化剪枝方法压缩深度增强学习网络在自动驾驶中的应用

利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能

Feb, 2024

高效深度学习的动态稀疏图

本文提出了一种通过动态和稀疏的图结构来执行深度神经网络（DNNs）进行压缩存储和加速执行的方法，该方法在训练和推断时均可应用，以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能，并在各种基准测试中几乎无损失地维护准确性。

Oct, 2018

深度梯度压缩：降低分布式训练的通信带宽

本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

Dec, 2017

用于修剪非常深的神经网络的全局稀疏动量 SGD

本文提出了一个基于动量优化（momentum-SGD-based optimization）的优化方法，用于压缩 DNN 模型，从而消除冗余参数，减少网络的复杂度。该方法采用全局压缩策略来自动找到层次的稀疏率，经过优化后能够无需耗费时间进行重训练的过程，具有更好的压缩效果和训练能力。

Sep, 2019

双核重任：通过语义和拓扑意识增强图稀疏训练

图稀疏训练（GST）提出了一种动态调整数据层稀疏度的方法，通过 Equilibria Sparsification Principle 来实现拓扑和语义信息的平衡，从而产生一个具有最大拓扑完整性且没有性能下降的稀疏图。

Feb, 2024

结构稀疏动态稀疏训练

本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。

May, 2023

自私稀疏循环神经网络训练

本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

Jan, 2021

GraVAC：通信高效的分布式深度学习训练自适应压缩

本文介绍了 GraVAC，一种动态调整压缩因子的框架，用于在分布式数据并行训练中降低通信开销并提高训练速度。GraVAC 可以根据模型进展和梯度信息损失自适应地进行压缩，相较于静态压缩因子，可以将 ResNet101，VGG16 和 LSTM 的端到端训练时间分别缩短 4.32x，1.95x 和 6.67x，相较于其他自适应方案，整体加速比可达 1.94x 至 5.63x。

May, 2023