低内存神经网络训练技术报告

Apr, 2019

Low-Memory Neural Network Training: A Technical Report

Nimit S. Sohoni, Christopher R. Aberger, Megan Leszczynski, Jian Zhang, Christopher Ré

TL;DR本文研究了神经网络训练所需内存的实际需求量，并系统评估了四种降低训练内存需求的标准技术。研究结果表明，通过选择适当的技术组合，可以在保持较少损失精度的前提下，显著减少训练神经网络所需的内存。

Abstract

memory is increasingly often the bottleneck when training neural network models. Despite this, techniques to lower the overall memory requirements of training have been less widely studied compared to the extensi

memory neural network training reducing memory requirements sparsity low precision

发现论文，激发创造

NullaNet：用于减少内存访问推理的深度神经网络训练

使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

Jul, 2018

深度网络的内存优化

本文介绍了 MONeT，一个自动框架，通过最小化深度神经网络的内存占用和计算负荷，优化检查点计划和各种算子的实现，实现了总体内存需求减少 3 倍的效果，能够优于所有以前的手调操作以及自动检查点。

Oct, 2020

用亚线性内存成本训练深度神经网络

提出一种系统性方法来减少深度神经网络训练的内存消耗，通过算法设计，在每个小批量仅需要一个额外正向传播的计算成本的情况下，以 O（sqrt（n））的内存成本训练 n 层网络，使用计算图分析进行自动原地操作和内存共享优化，可以在更少的计算成本下实现更多的内存节约效果。

Apr, 2016

大规模神经网络训练调查

本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和 GPU 训练，分类总结了相关策略，并且比较了不同类别之间的方法。

Feb, 2022

DenseNets 的内存高效实现

该技术报告介绍了一种减少 DenseNet 在训练期间内存消耗的策略，使得可以在单个 GPU 上训练非常深的网络，并在 ImageNet ILSVRC 分类数据集上获得了最先进的单剪裁 top-1 误差为 20.26%。

Jul, 2017

使用百万像素图像训练卷积神经网络

本文介绍了一种可以在有限的内存下训练深度卷积神经网络的方法，可以使用较大的图像尺寸，并通过定量比较证明了该方法与传统方法等效。

Apr, 2018

通过多级原位生成实现内存高效神经网络

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

Aug, 2021

深度神经网络内存高效训练的流形正则化

本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

May, 2023

人工智能与内存壁

通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。

Mar, 2024

利用计算相变存储进行准确的深度神经网络推断

介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％的 CIFAR-10 数据集和 71.6％的 ImageNet 基准测试的 top-1 精度。

Jun, 2019