Jan, 2022

Egeria: 基于知识引导的层冻结技术用于高效 DNN 训练

PDF
TL;DR本文介绍了一种跳过计算和通信过程的深度神经网络培训方法，采用层冻结技术，通过量子化技术实时地生成参考模型，以达到评估每个层的训练效果并安全地冻结已经达到了期望的层的效果，从而获得 19% 至 43% 的培训速度提升。
发现论文，激发创造
  • SmartFRZ：一种利用基于注意力的层冻结的高效训练框架

    通过注意力引导的冻结层方法在模型训练中智能地选择适当的层进行冻结，以提高训练效率并在时间上取得显著加速，从而优于现有的层冻结方法。

    Jan, 2024

  • FreezeOut: 逐渐冻结层以加速训练

    在深度神经网络中，我们提出仅对隐藏层进行一定时期的训练，并逐层将它们冻结并排除在反向传递中，从而在 CIFAR 上进行实验，实现了 20% 的时间节省，3% 的 DenseNets 准确度损失，20% 的 ResNets 加速而无损失，并没有改善 VGG 网络的结果。

    Jun, 2017

  • 通过模型冻结加速深度学习推理

    通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

    Feb, 2020

  • 稀疏训练通用框架的两个关键环节：层冻结和数据筛选

    该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。

    Sep, 2022

  • 无需反向传播的深度物理神经网络训练

    实现了使用生物可行的学习算法训练深度物理神经网络的简单深度神经网络结构，以提高训练速度，减少数字计算和降低物理系统的能量消耗。

    Apr, 2023

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 无数据学习的学生网络

    提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。

    Apr, 2019

  • 卷积神经网络的解耦贪心学习

    本文提出了解决反向传播过程中每层必须等待信号传播整个网络才能更新的锁定问题的替代方案 Decoupled Greedy Learning，通过使用最小反馈进行网络训练，并探讨了该方案的优化方法，可以在线性层级并行化的情况下独立地训练网络层或模块，本方案能够在异步环境下运行，并且具有更好的泛化性能，实验证明其对于 CIFAR-10 数据集和大规模 ImageNet 数据集的分类效果优于其他方案。

    Jan, 2019

  • 无权重冻结：全连接层的正则化方法，及其在脑电分类中的应用

    该研究基于神经科学先前知识和人工神经网络规则化的原则，提出了一种名为 “权重冻结” 的新型方法，该方法通过冻结神经网络中的某些部分，可显著提高脑电图中特定任务的分类精度，验证了权重冻结的有效性，并表明它比传统的全连接网络更为有效。

    Jun, 2023

  • EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化

    本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐量和能量效率。

    Feb, 2022