通过 2 位激活压缩训练减少训练内存占用的 ActNN

ICMLApr, 2021

通过 2 位激活压缩训练减少训练内存占用的 ActNN

ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training

Jianfei Chen, Lianmin Zheng, Zhewei Yao, Dequan Wang, Ion Stoica...

TL;DR本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 ActNN 的有效性，并表明其不会带来过大的精度损失。

Abstract

The increasing size of neural network models has been critical for improvements in their accuracy, but device memory is not growing at the same rate. This creates fundamental challenges for training neural networks within limited memory environments. In this work, we propose ActNN, a m

neural networks memory-efficient training mixed-precision quantization compression accuracy loss

发现论文，激发创造

量化神经网络：用低精度权重和激活训练神经网络

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究

本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。

Jul, 2018

GACT: 通用网络结构激活压缩训练

本文提出了 GACT，一种用于支持各种神经网络结构的 ACT 框架，旨在减小训练内存占用。通过分析 ACT 的近似梯度的线性化版本，我们证明了 GACT 的收敛性，而且不需要关于操作符类型或模型架构的先验知识。此外，我们提出了一种算法，通过估计每个张量对梯度的影响来决定压缩比率，以保证训练的稳定性。GACT 作为 PyTorch 库的实现，可用于卷积神经网络，transformers 和图神经网络，在使用 8.1 倍的较小的激活存储器减少训练内存占用，并且在几乎没有精度损失的情况下可以进行 4.2 到 24.7 倍的大批量训练。

Jun, 2022

使用改进的方差最小化的块化量化对图神经网络进行激活压缩

通过块状量化中间激活图，有效训练大规模图神经网络并显著减少内存消耗，同时改进和改正了 EXACT 策略的假设和方差估计。

Sep, 2023

深度神经网络能效实现的后训练量化

该论文提出了一种基于量化的后训练量化流程，无需重新训练即可加速深度神经网络的推理，并得到了在 ImageNet 上 6 位的 Top-1 准确率增加 2.2% 的结果。

Oct, 2022

Few-Bit Backward: 激活函数的量化梯度用于减少内存占用

本篇论文研究了神经网络训练中的内存占用问题，在点乘非线性函数导数的逼近上采用动态规划算法等方法进行量化，以显著减少内存占用和保证相同的收敛性能。

Feb, 2022

使用近似激活的反向传播进行内存高效网络训练

本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。

Jan, 2019

神经网络的训练与推理的价值感知量化

提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。

Apr, 2018

协作智能的神经网络特征张量轻量化压缩

本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

May, 2021

神经网络的 8 位训练可扩展方法

本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

May, 2018