Jan, 2019

使用近似激活的反向传播进行内存高效网络训练

PDF
TL;DR本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。
convolutional neural networkback-propagationmemory usageapproximationslow-precision
发现论文，激发创造
  • 通过近似和共享反向传播减少微调内存开销

    本文主要关注细调预训练大型模型的内存开销问题，从激活函数和层归一化的角度来减轻内存开销，并通过引入 Approx-BP 理论，提出了 GELU 和 SiLU 激活函数的内存高效替代方案，以及 Memory-Sharing Backpropagation 策略来减少内存使用冗余。实验表明，该方法能够降低高达 30% 的内存使用率。

    Jun, 2024

  • Few-Bit Backward: 激活函数的量化梯度用于减少内存占用

    本篇论文研究了神经网络训练中的内存占用问题，在点乘非线性函数导数的逼近上采用动态规划算法等方法进行量化，以显著减少内存占用和保证相同的收敛性能。

    Feb, 2022

  • 大型线性层的高效反向传播优化

    该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内存消耗优化。

    Jan, 2022

  • 可逆残差网络：无需存储激活即可反向传播

    该研究介绍了一种新型的具有可逆性的深度残差网络，名为 RevNet，能够通过其后续层的激活来精确地重建每一层的激活，从而克服了传统深度残差网络在反向传播过程中所需要大量的存储空间，实现了与相同大小的深度残余网络相似的图像分类准确率。

    Jul, 2017

  • 通过 2 位激活压缩训练减少训练内存占用的 ActNN

    本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 ActNN 的有效性，并表明其不会带来过大的精度损失。

    Apr, 2021

  • 卷积神经网络的最小化误差反向传播

    该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。

    Sep, 2017

  • 快速参数化学习与激活记忆

    本文提出了一种使用外部存储器的快速学习非参数模型来弥补神经网络在识别已出现少数次分类时的性能瓶颈的方法，改进了一些图像分类和语言模型任务的性能表现。

    Mar, 2018

  • 激活松弛：脑内反向传播的局部动态逼近

    提出了 Activation Relaxation (AR) 算法，利用构建反向传播梯度的动力系统平衡点实现只利用局部信号的反向传播，可以在任意计算图上收敛，能在视觉分类任务上训练深度神经网络并且进行神经生物学实现的简化。

    Sep, 2020

  • 一种提高神经网络准确性的新方法：恢复传统反向传播技术

    本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

    Aug, 2023

  • 使用近似张量运算加速神经网络训练

    通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

    May, 2018