MMJan, 2018

SuperNeurons: 为深度神经网络训练提供动态 GPU 内存管理

PDF
TL;DRSuperNeurons 是一种 GPU 内存调度运行时，采用三种内存优化技术，联合使用从而将网络宽度与深度推向新高度，并解决 Deep Learning 从业者由于 GPU 内存受限而需要修改网络架构或手动分配显存的问题。
superneuronsgpu memory schedulingdeep learningneural architecturesliveness analysis
发现论文，激发创造
  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 大规模神经网络训练调查

    本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和 GPU 训练，分类总结了相关策略，并且比较了不同类别之间的方法。

    Feb, 2022

  • 具有预算的超级网络的时间 / 内存高效深度架构学习

    本文提出了一种名为 BSN 的新型神经网络，采用基于预算学习的梯度下降技术，在不假设成本性质的条件下，以最大允许成本作为目标函数，解决了神经网络预测效率和成本之间的平衡问题，并通过对计算成本、内存消耗成本和分布式计算成本的三种代价的处理，实现了优于 ResNet 和 Convolutional Neural Fabrics 的结构发现与学习能力。

    May, 2017

  • 移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

    Jan, 2024

  • NeuroFlux: 自适应本地学习的内存高效 CNN 训练

    在受限资源的移动和边缘环境中，创新的卷积神经网络（CNN）训练系统 NeuroFlux 旨在提高训练效率，通过引入自适应辅助网络和块特定的自适应批处理大小来减少 GPU 内存使用，并缩短训练时间，从而实现了 2.3 倍到 6.1 倍的速度提升和精度不损失的模型。

    Feb, 2024

  • 深度网络的内存优化

    本文介绍了 MONeT，一个自动框架，通过最小化深度神经网络的内存占用和计算负荷，优化检查点计划和各种算子的实现，实现了总体内存需求减少 3 倍的效果，能够优于所有以前的手调操作以及自动检查点。

    Oct, 2020

  • DenseNets 的内存高效实现

    该技术报告介绍了一种减少 DenseNet 在训练期间内存消耗的策略，使得可以在单个 GPU 上训练非常深的网络，并在 ImageNet ILSVRC 分类数据集上获得了最先进的单剪裁 top-1 误差为 20.26%。

    Jul, 2017

  • 在 GPU 上优化深度卷积神经网络的内存效率

    本文探讨了对于卷积神经网络的内存效率的优化，以及其对性能的影响，并提出了数据布局及内存访问模式方面的优化策略。实验证明，这些策略不仅对于单个层面有效，对于整个神经网络也可获得高达 27.9 倍和 5.6 倍的速度提升。

    Oct, 2016

  • 一种可配置和高效的神经网络硬件加速器内存层次结构

    我们提出了一个可配置的内存层次结构框架，旨在为深度神经网络 (DNNs) 的自适应内存访问模式提供数据，并在最小化所需内存容量的同时维持高加速器性能方面达到优化平衡。

    Apr, 2024

  • 低内存神经网络训练技术报告

    本文研究了神经网络训练所需内存的实际需求量，并系统评估了四种降低训练内存需求的标准技术。研究结果表明，通过选择适当的技术组合，可以在保持较少损失精度的前提下，显著减少训练神经网络所需的内存。

    Apr, 2019