ICLRFeb, 2022

DropIT：为内存高效的深度神经网络训练丢弃中间张量

PDF
TL;DR该研究提出了一种名为 DropIT 的方法，该方法可以通过删除中间张量元素来提高深度神经网络训练的效率和精确性。实验表明，DropIT 方法可以在较高的测试精度下，删除全连接和卷积层中多达 90％的中间张量元素，以及在不同任务中（例如分类、目标侦测、实例分割）的视觉变换器和卷积神经网络上实现更快的训练收敛。
deep neural networksgpu memorygradient computationdropitconvergence
发现论文，激发创造
  • SlimFit: 使用训练动态的 Transformer-based 模型的高效内存微调

    SlimFit 可将 Transformer-based 模型的 GPU 内存需求减少至 2.2 倍，动态分析训练动态并在 fine-tuning 期间冻结一部分层，可用于 NLP 和 CV 任务。

    May, 2023

  • 低内存神经网络训练技术报告

    本文研究了神经网络训练所需内存的实际需求量，并系统评估了四种降低训练内存需求的标准技术。研究结果表明，通过选择适当的技术组合，可以在保持较少损失精度的前提下，显著减少训练神经网络所需的内存。

    Apr, 2019

  • 通过训练后的层内多精度量化减少 DNN 内存占用

    为了在资源受限的边缘设备上部署深度神经网络模型并保护隐私，本文介绍了一种有效减小深度神经网络内存占用的技术，该技术名为后训练内层多精度量化（PTILMPQ），通过估计网络中层和通道的重要性，实现了在量化过程中的精确位分配。实验结果表明，PTILMPQ 为在内存资源受限的边缘设备上部署深度神经网络提供了有希望的解决方案，例如，在 ResNet50 的情况下，它以 9.5MB 的内存占用达到了 74.57% 的准确率，相比之前类似方法减小了 25.49%，仅有 1.08% 的准确率下降。

    Apr, 2024

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • NullaNet：用于减少内存访问推理的深度神经网络训练

    使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

    Jul, 2018

  • 块状张量神经网络

    本文提出了一种名为 BT-layers 的新的神经网络结构，使用低秩分块张量来近似权重矩阵，能够大幅缩小 DNN 的参数数量，同时保持或提高其表征能力。

    Oct, 2020

  • 数据丢弃：优化卷积神经网络的训练数据

    本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

    Sep, 2018

  • 深度网络的内存优化

    本文介绍了 MONeT，一个自动框架，通过最小化深度神经网络的内存占用和计算负荷，优化检查点计划和各种算子的实现，实现了总体内存需求减少 3 倍的效果，能够优于所有以前的手调操作以及自动检查点。

    Oct, 2020

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • Mini-batch Serialization: CNN 训练中的层间数据重用

    介绍了一种名为 MBS CNN 训练方法以及 WaveCore CNN 训练加速器，它们通过在芯片缓冲区内优化复用而不是访问外部内存来减少内存访问并分别降低 DRAM 流量 75％ 和系统能量 26％。

    Sep, 2018