May, 2023

动态稀疏是通道级稀疏的学习器

PDF
TL;DR本文提出 Channel-aware dynamic sparse (Chase) 方法：将 unstructured dynamic sparsity 转变为 GPU-friendly channel-level sparsity 加速 inference，通过逐渐去除 biased parameter reallocation across channels，不损失准确率地实现了 1.7 X inference throughput speedup on common GPU devices with ResNet-50 on ImageNet。
发现论文，激发创造
  • 结构稀疏动态稀疏训练

    本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。

    May, 2023

  • 动态稀疏训练下的持续学习：探索有效模型更新算法

    连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学习中 DST 的最佳配置提供清晰的指导。通过在著名的 CIFAR100 和 miniImageNet 基准测试数据集上进行全面的研究，研究人员发现在低稀疏度水平下，Erdos-Renyi Kernel (ERK) 初始化能更有效地利用主干网络并实现任务增量的有效学习，而在高稀疏度水平下，均匀初始化展现出更可靠和稳健的性能。对于增长策略，性能取决于定义的初始化策略和稀疏度程度。最后，DST 组成部分内的适应性是提升连续学习效果的有希望的方法。

    Aug, 2023

  • 神奇的权重及其搜索方法：如何在动态稀疏训练中进行裁剪

    本论文主要研究动态稀疏训练中修剪准则的影响，发现在低密度环境下，最优性能主要取决于最简单的技术：基于大小的修剪。

    Jun, 2023

  • 自私稀疏循环神经网络训练

    本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

    Jan, 2021

  • 高效深度学习的动态稀疏图

    本文提出了一种通过动态和稀疏的图结构来执行深度神经网络（DNNs）进行压缩存储和加速执行的方法，该方法在训练和推断时均可应用，以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能，并在各种基准测试中几乎无损失地维护准确性。

    Oct, 2018

  • DynST: 资源受限时空预测的动态稀疏训练

    本研究首次提出了一个称为 DynST 的行业级部署优化概念，采用动态稀疏训练和传感器部署来优化地球科学中的数据级别，通过迭代剪枝和稀疏训练，动态去除对未来预测贡献最小的传感器感知区域。

    Mar, 2024

  • DSD：用于深度神经网络的稠密 - 稀疏 - 稠密训练

    通过提出 DSD 训练流程，即 Dense-Sparse-Dense（DSD）的训练方法，对深度神经网络进行正则化，以实现更好的优化性能；实验证明，DSD 训练可以提高各种神经网络模型（如 CNN、RNN 和 LSTM）在图像分类、标题生成和语音识别等任务中的性能，并且可以在不改变网络架构或引入任何推理开销的情况下使用。

    Jul, 2016

  • 利用动态推理来开发 Transformer 激活稀疏性

    通过激活稀疏性和动态决定每个令牌的执行专家数量的方法，Dynamic Sparsified Transformer Inference（DSTI）能够显著降低 Transformer 模型的推理成本，而且对准确性几乎没有影响。

    Oct, 2023

  • 自动语音识别的动态稀疏神经网络

    本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

    May, 2020

  • 深度展开收缩网络用于动态磁共振成像

    通过使用一种称为带通道注意力的软阈值算子 (AST)，我们提出了一种用于动态磁共振成像的新型深度展开收缩网络 (DUS-Net)，通过展开交替方向乘法因子方法 (ADMM) 对转换后的 $l_1$ 范数动态 MR 重建模型进行优化，实验证明 DUS-Net 优于现有的方法。

    Jul, 2023