关键词dynamic sparse training
搜索结果 - 9
- 动态稀疏训练下的持续学习：探索有效模型更新算法
连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学 - 神奇的权重及其搜索方法：如何在动态稀疏训练中进行裁剪
本论文主要研究动态稀疏训练中修剪准则的影响，发现在低密度环境下，最优性能主要取决于最简单的技术：基于大小的修剪。
- 目标检测中的组通道修剪和空间注意力蒸馏
本文提出了一种三阶段的模型压缩方法，即动态稀疏训练、组通道剪枝和空间关注蒸馏，可将目标检测网络的参数减少 64.7%、计算量减少 34.9%。
- 动态稀疏是通道级稀疏的学习器
本文提出 Channel-aware dynamic sparse (Chase) 方法：将 unstructured dynamic sparsity 转变为 GPU-friendly channel-level sparsity 加速 - 更多探索的动态稀疏训练
本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。
- 稀疏训练中是否需要密集过参数化？时时过参数化
提出一种新的训练深度神经网络的方法 ——In-Time Over-Parameterization（ITOP）与稀疏训练相结合来达到稠密训练的性能，通过实验验证 ITOP 可以达到最先进的性能水平，并在极度稀疏情况下优于基于超参数的稀疏方法 - 自私稀疏循环神经网络训练
本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext - AAAI稀疏神经网络中的梯度流与中奖彩票方法
本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始 - ICLR动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络
本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他