sparse training | BriefGPT - AI 论文速递

关键词sparse training

搜索结果 - 30

ICLRRLx2：零基础训练稀疏深度强化学习模型
本文提出了一种基于梯度建网络拓扑演化的新型稀疏深度强化学习（DRL）训练框架 RLx2，通过动态容量回放缓冲器实现稀疏模型中的坚韧价值学习和效率拓扑探索，实现了 7.5~20 倍的模型压缩，同时保持不到 3% 的性能降低并减少 20~50
PDF2 years ago
ICLR随机剪枝的不合理有效性：最朴素的稀疏训练基线模型的回归
本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。
PDF2 years ago
前向和后向传播稀疏化提高神经网络训练效率
该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果
PDF3 years ago
MEST: 边缘计算上精确且高效的经济稀疏训练框架
本文提出一种 Memory-Economic Sparse Training (MEST) 框架，利用弹性变异（EM）和软内存限制（&S）实现了高精度和高稀疏比率下边缘设备上的快速训练，并探索了稀疏度方案对稀疏训练性能以及数据效率加速的影响
PDF3 years ago
IJCAI深度强化学习的动态稀疏训练
本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。
PDF3 years ago
IJCAI神经网络初始化裁剪的最新进展
这篇论文首次调查了一种新兴的神经网络裁剪方式 —— 在初始化时裁剪（PaI），并介绍了其稀疏训练和稀疏选择两大主要方法。此外，该论文还提供了一个用于不同 PaI 方法的基准测试和检查的代码库。
PDF3 years ago
稀疏训练中是否需要密集过参数化？时时过参数化
提出一种新的训练深度神经网络的方法 ——In-Time Over-Parameterization（ITOP）与稀疏训练相结合来达到稠密训练的性能，通过实验验证 ITOP 可以达到最先进的性能水平，并在极度稀疏情况下优于基于超参数的稀疏方法
PDF3 years ago
大规模的真正稀疏神经网络
本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。
PDF3 years ago
SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练
本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍
PDF4 years ago
稀疏权重激活训练
本文提出了一种名为 Sparse Weight Activation Training (SWAT) 的算法，相比传统训练更加节省计算和内存资源，在保证验证准确率的同时可以在使用最新的 CNN 架构和数据集进行训练时具有很高的速度和内存节省
PDF4 years ago