Feb, 2024

NeuroFlux: 自适应本地学习的内存高效 CNN 训练

PDF
TL;DR在受限资源的移动和边缘环境中，创新的卷积神经网络（CNN）训练系统 NeuroFlux 旨在提高训练效率，通过引入自适应辅助网络和块特定的自适应批处理大小来减少 GPU 内存使用，并缩短训练时间，从而实现了 2.3 倍到 6.1 倍的速度提升和精度不损失的模型。
on-device convolutional neural network trainingresource-constrained mobile and edge environmentsneurofluxadaptive auxiliary networksgpu memory usage
发现论文，激发创造
  • 通过梯度过滤实现高效的设备端训练

    本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。

    Jan, 2023

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化

    本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐量和能量效率。

    Feb, 2022

  • 使用近似激活的反向传播进行内存高效网络训练

    本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。

    Jan, 2019

  • 反向链接：具有监督的本地训练

    该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

    May, 2022

  • E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

    通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

    Oct, 2019

  • 在 GPU 上优化深度卷积神经网络的内存效率

    本文探讨了对于卷积神经网络的内存效率的优化，以及其对性能的影响，并提出了数据布局及内存访问模式方面的优化策略。实验证明，这些策略不仅对于单个层面有效，对于整个神经网络也可获得高达 27.9 倍和 5.6 倍的速度提升。

    Oct, 2016

  • perf4sight：用于在边缘 GPU 上建模 CNN 训练性能的工具流

    本研究提出了一种自动方法：perf4sight，它能够使用 PyTorch 作为框架和 NVIDIA Jetson TX2 作为目标设备，开发出准确预测 CNN 训练内存和延迟的模型，为边缘 GPU 上的高效网络调整铺平道路。

    Aug, 2021

  • 边缘上的设备学习：在预算约束下选择要更新的神经元的方法

    挤压在极端存储和计算约束下的设备学习所需资源，提出了一种利用动态神经元选择和有效学习的新方法。

    Dec, 2023

  • SuperNeurons: 为深度神经网络训练提供动态 GPU 内存管理

    SuperNeurons 是一种 GPU 内存调度运行时，采用三种内存优化技术，联合使用从而将网络宽度与深度推向新高度，并解决 Deep Learning 从业者由于 GPU 内存受限而需要修改网络架构或手动分配显存的问题。

    Jan, 2018