深度强化学习的动态稀疏训练

IJCAIJun, 2021

Dynamic Sparse Training for Deep Reinforcement Learning

Ghada Sokar, Elena Mocanu, Decebal Constantin Mocanu, Mykola Pechenizkiy, Peter Stone

TL;DR本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

Abstract

deep reinforcement learning (DRL) agents are trained through trial-and-error interactions with the environment. This leads to a long training time for dense neural networks to achieve good →

deep reinforcement learning sparse training neural networks performance continuous control tasks

发现论文，激发创造

深度强化学习稀疏训练的现状

在深度强化学习领域，这项工作系统地研究了应用多种现有的稀疏训练技术在各种强化学习代理和环境中的可行性，结果发现，稀疏网络比密集网络在相同数量参数下表现更好，我们提供了有关如何改善稀疏训练方法有效性以及推进其在深度强化学习中应用的有益思路。

Jun, 2022

更多探索的动态稀疏训练

本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

Nov, 2022

GST：组稀疏训练以加速深度强化学习

为了加速深度强化学习在实际边缘设备中的运行，本文提出了一种基于分块循环压缩的权重压缩方法，名为组稀疏训练 (GST)，该方法在所有深度强化学习迭代中选择性地使用分块循环压缩，并通过奖励感知修剪动态地调整目标稀疏度，以实现稳定的训练，实验表明该方法在 Mujoco Halfcheetah-v2 和 Mujoco humanoid-v2 环境下的 TD3 训练中，平均压缩比比迭代修剪方法高 25% p-41.5% p，而且没有奖励降低。

Jan, 2021

用动态结构化剪枝方法压缩深度增强学习网络在自动驾驶中的应用

利用动态结构修剪方法逐渐移除无关神经元并采用组稀疏正则化器高效训练深度增强学习模型，在离散控制环境和连续控制环境中展示了与现有方法竞争力相当的压缩效果和性能

Feb, 2024

高效深度学习的动态稀疏图

本文提出了一种通过动态和稀疏的图结构来执行深度神经网络（DNNs）进行压缩存储和加速执行的方法，该方法在训练和推断时均可应用，以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能，并在各种基准测试中几乎无损失地维护准确性。

Oct, 2018

动态稀疏重参数化实现深度卷积神经网络的参数高效训练

介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

Feb, 2019

动态稀疏学习：一种高效推荐的新范式

在深度学习推荐系统领域，我们引入了一种新的学习范式，Dynamic Sparse Learning (DSL)，通过动态调整模型的稀疏性分布和权重的重要性，从而在训练和推理过程中实现端到端的高效率，显著减少了训练和推理成本，同时提供可比较的推荐性能。

Feb, 2024

动态模型剪枝与反馈

提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

Jun, 2020

在强化学习中学习稀疏表示

本文探讨强化学习算法中的 TD Learning 和基础节疤核在强化学习中的作用，使用计算机模拟来验证利用稀疏的联合表示来学习在特定环境下获得预期奖励的好处。

Sep, 2019

自私稀疏循环神经网络训练

本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

Jan, 2021