Apr, 2016

用亚线性内存成本训练深度神经网络

PDF
TL;DR提出一种系统性方法来减少深度神经网络训练的内存消耗，通过算法设计，在每个小批量仅需要一个额外正向传播的计算成本的情况下，以 O（sqrt（n））的内存成本训练 n 层网络，使用计算图分析进行自动原地操作和内存共享优化，可以在更少的计算成本下实现更多的内存节约效果。
deep neural networkmemory consumptionalgorithmcomputation graph analysismemory efficient
发现论文，激发创造
  • 低内存神经网络训练技术报告

    本文研究了神经网络训练所需内存的实际需求量，并系统评估了四种降低训练内存需求的标准技术。研究结果表明，通过选择适当的技术组合，可以在保持较少损失精度的前提下，显著减少训练神经网络所需的内存。

    Apr, 2019

  • DenseNets 的内存高效实现

    该技术报告介绍了一种减少 DenseNet 在训练期间内存消耗的策略，使得可以在单个 GPU 上训练非常深的网络，并在 ImageNet ILSVRC 分类数据集上获得了最先进的单剪裁 top-1 误差为 20.26%。

    Jul, 2017

  • NullaNet：用于减少内存访问推理的深度神经网络训练

    使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

    Jul, 2018

  • 大型线性层的高效反向传播优化

    该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内存消耗优化。

    Jan, 2022

  • 深度网络的内存优化

    本文介绍了 MONeT，一个自动框架，通过最小化深度神经网络的内存占用和计算负荷，优化检查点计划和各种算子的实现，实现了总体内存需求减少 3 倍的效果，能够优于所有以前的手调操作以及自动检查点。

    Oct, 2020

  • 在亚二次时间内训练多层过参数化神经网络

    本文提出了一种降低神经网络训练成本的框架，其中使用各种技术，包括基于 ReLU 的稀疏化器、低秩数据结构、矩形矩阵乘法、张量草图技术和预处理，实现每次迭代的真正次二次成本。

    Dec, 2021

  • 使用近似激活的反向传播进行内存高效网络训练

    本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。

    Jan, 2019

  • 预处理有助于训练超参数化神经网络吗？

    本论文提出两种新的预处理方法以实现针对深度神经网络的快速训练，从而绕过传统的训练方法中的高计算成本，并提供大量其他快速训练方法的理论启示。

    Oct, 2021

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 利用亚线性参数的深度神经网络实现可证明的记忆

    通过利用神经网络的深度，本文表明在输入点之间存在较小的条件下，$O (N^{2/3})$ 参数就足以记住 $N$ 个输入对，并提供了支持我们理论结果的实证结果。

    Oct, 2020