Jun, 2017

FreezeOut: 逐渐冻结层以加速训练

PDF
TL;DR在深度神经网络中，我们提出仅对隐藏层进行一定时期的训练，并逐层将它们冻结并排除在反向传递中，从而在 CIFAR 上进行实验，实现了 20% 的时间节省，3% 的 DenseNets 准确度损失，20% 的 ResNets 加速而无损失，并没有改善 VGG 网络的结果。
发现论文，激发创造
  • 通过模型冻结加速深度学习推理

    通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

    Feb, 2020

  • AutoFreeze：自动冻结模型块以加速微调

    本研究提出了 AutoFreeze 系统，通过自适应选择训练的层并设计了两种执行模式，实现了在保持模型准确性的同时加速 fine-tuning，使用缓存技术在单个 GPU 上能够改善 fine-tuning 的速度达到最多 2.55 倍，在 64 个 GPU 集群上的 fine-tuning 速度达到最多 4.38 倍，并实现了 5.03 倍的总成本降低。

    Feb, 2021

  • Egeria: 基于知识引导的层冻结技术用于高效 DNN 训练

    本文介绍了一种跳过计算和通信过程的深度神经网络培训方法，采用层冻结技术，通过量子化技术实时地生成参考模型，以达到评估每个层的训练效果并安全地冻结已经达到了期望的层的效果，从而获得 19% 至 43% 的培训速度提升。

    Jan, 2022

  • 逐层降低以训练非常深的神经网络

    通过 DropIn 层动态增加神经网络的深度，提供训练过程中的正则化，并在多个实验中证明了其有效性。

    Nov, 2015

  • 深度卷积神经网络的增量式训练

    提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

    Mar, 2018

  • 深度神经网络的数据无关参数剪枝

    本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元，并且通过在 MNIST 训练网络中修剪密集连接层，达到 85％ 的总参数去除率，在 AlexNet 上达到 35％去除率，并且没有明显影响其性能。

    Jul, 2015

  • 宽 - 窄：高效训练深瘦网络

    本研究提出了一种基于模型压缩和神经平均场分析的新型深度学习网络优化方法，并通过大量实验证明其优于传统的反向传播方法，可使经过我们的优化方法训练后的 ResNet50 在性能上超越 ResNet101，而 BERT Base 则可以与 BERT Large 相媲美。

    Jul, 2020

  • SmartFRZ：一种利用基于注意力的层冻结的高效训练框架

    通过注意力引导的冻结层方法在模型训练中智能地选择适当的层进行冻结，以提高训练效率并在时间上取得显著加速，从而优于现有的层冻结方法。

    Jan, 2024

  • 无参数层学习特征

    该论文探讨采用内置无参操作替换空间操作的网络架构的有效性，实验结果表明，这种架构可以在不牺牲模型精度的情况下进一步提高网络速度和效率，尤其适用于 ImageNet 数据集。

    Feb, 2022

  • 稀疏训练通用框架的两个关键环节：层冻结和数据筛选

    该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。

    Sep, 2022