Jun, 2022

GACT: 通用网络结构激活压缩训练

PDF
TL;DR本文提出了 GACT，一种用于支持各种神经网络结构的 ACT 框架，旨在减小训练内存占用。通过分析 ACT 的近似梯度的线性化版本，我们证明了 GACT 的收敛性，而且不需要关于操作符类型或模型架构的先验知识。此外，我们提出了一种算法，通过估计每个张量对梯度的影响来决定压缩比率，以保证训练的稳定性。GACT 作为 PyTorch 库的实现，可用于卷积神经网络，transformers 和图神经网络，在使用 8.1 倍的较小的激活存储器减少训练内存占用，并且在几乎没有精度损失的情况下可以进行 4.2 到 24.7 倍的大批量训练。
发现论文，激发创造
  • 通过 2 位激活压缩训练减少训练内存占用的 ActNN

    本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 ActNN 的有效性，并表明其不会带来过大的精度损失。

    Apr, 2021

  • 适应性计算时间的递归神经网络

    本文介绍了一种自适应计算时间（ACT）的算法，它使得循环神经网络能够在接收输入和输出之间学习要执行多少计算步骤。ACT 要求最少的网络架构变化，并且是确定性和可微分的，在不会增加参数梯度的噪声的情况下表现良好。实验结果证明，ACT 在决定二进制向量的奇偶性，应用二元逻辑操作，加法和对真实数字排序的四个综合问题上表现出了显着的性能改进。此外，本文还在 Hutter 奖 Wikipedia 数据集上展示了字符级别的语言建模结果，ACT 在该场景下性能提升不是很大，但是它提供了对数据结构的引人瞩目的见解，更多的计算分配给了难以预测的转换，比如单词之间的空格和句子结束。这表明，ACT 或其他自适应计算方法可能提供一种推断序列数据分段边界的通用方法。

    Mar, 2016

  • 适应性与固定计算时间的递归神经网络比较

    本研究比较了 Adaptive Computation Time 和 Repeat-RNN 两种模型在变长序列任务上的性能表现，发现 Repeat-RNN 与 ACT 相比在该任务上表现良好，源码可公开获取。

    Mar, 2018

  • 减少大型 Transformer 模型中的激活重新计算

    本文通过降低激活记录的方法展示了如何显著加速大型 Transformer 模型的训练，并介绍了两种新颖且非常简单的技术：序列并行和选择性激活重算，这些技术几乎消除了重新计算激活的需要，同时减少了超过 90% 的执行时间开销和 5 倍的激活存储器减少。

    May, 2022

  • 基于 ACT 块的生成对抗网络的无线电地图构建

    本文介绍了一种基于生成对抗网络（GAN）的新型无线电地图构建方法，命名为 ACT-GAN，并通过三种不同场景的实验结果表明，ACT-GAN 在提高无线电地图的重建精度方面具有显著优势，同时有助于更准确地预测电磁空间场分布和发射源位置。

    Jan, 2024

  • PACT: 量化神经网络的参数化剪切激活

    提出一种新的量化方案 PACT，可以在不降低准确性的情况下将激活量化至任意位精度，同时以 4 位精度量化权重和激活时能获得与完全精确网络相当的准确性，可以在硬件上获得超线性的推理性能提升。

    May, 2018

  • GraVAC：通信高效的分布式深度学习训练自适应压缩

    本文介绍了 GraVAC，一种动态调整压缩因子的框架，用于在分布式数据并行训练中降低通信开销并提高训练速度。GraVAC 可以根据模型进展和梯度信息损失自适应地进行压缩，相较于静态压缩因子，可以将 ResNet101，VGG16 和 LSTM 的端到端训练时间分别缩短 4.32x，1.95x 和 6.67x，相较于其他自适应方案，整体加速比可达 1.94x 至 5.63x。

    May, 2023

  • ACT-Net: 非对称 Co-Teacher 网络在半监督内存高效的医学图像分割中的应用

    提出一种新型的不对称协作教师模型 ACT-Net，通过协同教学方法，将大型模型的知识迁移到小型模型，实现半监督分割任务的高效处理，实验证明了该方法的有效性，并取得了比其他知识蒸馏方法更好的分割结果。

    Jul, 2022

  • 使用改进的方差最小化的块化量化对图神经网络进行激活压缩

    通过块状量化中间激活图，有效训练大规模图神经网络并显著减少内存消耗，同时改进和改正了 EXACT 策略的假设和方差估计。

    Sep, 2023

  • 协作智能的神经网络特征张量轻量化压缩

    本研究介绍了一种轻量级的压缩技术，用于在边缘设备上进行代码的分割，仅针对深度神经网络中的激活，而且不需要任何重新训练。当应用于流行的对象检测和分类深度神经网络时，能够将 32 位浮点激活压缩到 0.6 至 0.8 位，同时保持精度损失不到 1％。

    May, 2021