深度强化学习稀疏训练的现状

ICMLJun, 2022

The State of Sparse Training in Deep Reinforcement Learning

Laura Graesser, Utku Evci, Erich Elsen, Pablo Samuel Castro

TL;DR在深度强化学习领域，这项工作系统地研究了应用多种现有的稀疏训练技术在各种强化学习代理和环境中的可行性，结果发现，稀疏网络比密集网络在相同数量参数下表现更好，我们提供了有关如何改善稀疏训练方法有效性以及推进其在深度强化学习中应用的有益思路。

Abstract

The use of sparse neural networks has seen rapid growth in recent years, particularly in computer vision. Their appeal stems largely from the reduced number of parameters required to train and store, as well as i

sparse neural networks computer vision deep reinforcement learning sparse training techniques learning efficiency

发现论文，激发创造

深度强化学习的动态稀疏训练

本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

Jun, 2021

稀疏神经网络训练

本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

Nov, 2016

稀疏表示在强化学习控制中的应用

本文研究确定在增强学习中控制的稀疏表示。通过对比标准神经网络表示和具有稀疏性质的神经网络表示，在经典控制域中递增地学习控制策略的表现，证明了稀疏表示更加有效，因为其提供了局部性，避免了灾难性的干扰，特别是保持了稳定的值来引导学习。同时，称之为 “分布式正则化器” 的方法可以鼓励隐藏节点的激活匹配分布，从而产生稀疏的激活状态。该方法提出了一种简单而有效的方式来获取稀疏表示。

Nov, 2018

深度强化学习中的剪枝网络是良好网络

近期的研究表明，深度强化学习代理在有效利用网络参数方面存在困难。我们利用先前对稀疏训练技术优势的了解，证明逐渐减少参数的大小可以使代理最大化参数的有效性。这导致网络在性能上比传统网络有显著的改进，并呈现出一种 “按比例尺” 的特性，只使用了网络参数的一小部分。

Feb, 2024

准确神经网络剪枝需要重思稀疏优化

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

强化学习任务的神经网络压缩

在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。

May, 2024

深度强化学习中的大型网络训练

本文讨论了深度强化学习中训练大型神经网络的困难之处，提出了使用 DenseNet 连接构建更大的神经网络、将表示学习与强化学习训练分离以及采用分布式训练方法缓解过拟合问题等三种技术来提高性能的方法，在几个具有挑战性的运动任务上的结果表明本文提出的方法的有效性超过了其他基线算法。

Feb, 2021

深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

大规模的真正稀疏神经网络

本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

Feb, 2021

强化学习中的稀疏奖励问题处理

本研究探索和对比了现有的强化学习方法，以避免仅提供稀少回报的环境的难度，并在不同难度和奖励频率的几个电子游戏环境中实施和比较不同的解决方案，提出了一种结合好奇心驱动探索和无监督辅助任务两种方法的新型强化学习解决方案。

Oct, 2019