Sep, 2022

稀疏训练通用框架的两个关键环节：层冻结和数据筛选

PDF
TL;DR该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。
sparse traininglayer freezingdata sievingtraining costsaccuracy preservation
发现论文，激发创造
  • SmartFRZ：一种利用基于注意力的层冻结的高效训练框架

    通过注意力引导的冻结层方法在模型训练中智能地选择适当的层进行冻结，以提高训练效率并在时间上取得显著加速，从而优于现有的层冻结方法。

    Jan, 2024

  • Egeria: 基于知识引导的层冻结技术用于高效 DNN 训练

    本文介绍了一种跳过计算和通信过程的深度神经网络培训方法，采用层冻结技术，通过量子化技术实时地生成参考模型，以达到评估每个层的训练效果并安全地冻结已经达到了期望的层的效果，从而获得 19% 至 43% 的培训速度提升。

    Jan, 2022

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • 深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

    本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

    Jan, 2021

  • SPDF：大型语言模型的稀疏预训练和密集微调

    本文提出了一种基于稀疏先训练和密集微调的预训练语言模型方法，可将训练 FLOPs 的数量降低到原来的 2.5 倍，同时保持与密集基线相同的下游任务准确性。该方法为训练大规模 GPT 模型提供了一个可行的方向。

    Mar, 2023

  • AUTOSPARSE: 深度神经网络稀疏训练自动化

    本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

    Apr, 2023

  • 动态稀疏的全方位福音：零训练或测试开销的深度集成

    本文提出了一种称为 FreeTickets 的新型高效集成学习框架，利用稀疏神经网络训练，取代了传统的多个密集神经网络的训练方式，并在预测精度、不确定性估计、分布外强度、训练和推理效率等方面优于传统方法。

    Jun, 2021

  • 在 GPU 上实现高效的 DNN 推断的平衡稀疏性

    本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

    Nov, 2018

  • SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

    本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

    Jul, 2020

  • Feather: 一种高效 DNN 稀疏化的优雅解决方案

    利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 ResNet-50 体系结构实现了最新的 Top-1 验证准确性，超过了现有方法，并且具有显著的优势，包括更复杂和计算量较大的方法。

    Oct, 2023