在 GPU 上优化深度卷积神经网络的内存效率

Oct, 2016

在 GPU 上优化深度卷积神经网络的内存效率

Optimizing Memory Efficiency for Deep Convolutional Neural Networks on GPUs

Chao Li, Yi Yang, Min Feng, Srimat Chakradhar, Huiyang Zhou

TL;DR本文探讨了对于卷积神经网络的内存效率的优化，以及其对性能的影响，并提出了数据布局及内存访问模式方面的优化策略。实验证明，这些策略不仅对于单个层面有效，对于整个神经网络也可获得高达 27.9 倍和 5.6 倍的速度提升。

Abstract

Leveraging large data sets, deep convolutional neural networks (CNNs) achieve state-of-the-art recognition accuracy. Due to the substantial compute and memory operations, however, they require significant execution time. The massive parallel computing capability of GPUs make them as on

convolutional neural networks gpu acceleration memory efficiency data layouts optimizations

发现论文，激发创造

卷积神经网络的效率研究

通过优化卷积神经网络架构和使用融合块核心技术，实现了计算效率和准确性的提升。

Apr, 2024

DenseNets 的内存高效实现

该技术报告介绍了一种减少 DenseNet 在训练期间内存消耗的策略，使得可以在单个 GPU 上训练非常深的网络，并在 ImageNet ILSVRC 分类数据集上获得了最先进的单剪裁 top-1 误差为 20.26%。

Jul, 2017

在 GPU 上优化循环神经网络的性能

通过在网络中暴露操作之间的并行性，我们实现了对于各种网络规模的 10 倍加速优化，这种优化的实现被整合到了 NVIDIA 的 cuDNN 的第五个版本中。

Apr, 2016

通过多级原位生成实现内存高效神经网络

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

Aug, 2021

使用百万像素图像训练卷积神经网络

本文介绍了一种可以在有限的内存下训练深度卷积神经网络的方法，可以使用较大的图像尺寸，并通过定量比较证明了该方法与传统方法等效。

Apr, 2018

阻止卷积神经网络的系统方法

本文针对计算机视觉中的问题使用卷积神经网络，通过创建 CNN 类似的衔接循环的分析模型，研究如何对 CNN 计算进行阻塞以获得内存局部性，自动推导出常见网络的优化阻塞，提高了定制硬件实现的能效，与传统 CNN 基于高度调整的手动优化 BLAS 库的 CPU 实现相比，我们实现的最优阻塞 x86 程序将内存访问次数降低了高达 90％。

Jun, 2016

卷积神经网络（CNN）的演进：边缘人工智能的计算与存储带宽

该论文探讨了卷积神经网络在边缘人工智能中的计算要求和存储带宽之间的关系，研究了模型复杂度增加对计算需求和存储访问模式的影响，并提供了计算需求和存储带宽要求之间权衡的比较分析，为设计有效架构和提升边缘设备上的卷积神经网络性能的硬件加速器提供了洞见。

Sep, 2023

卷积残差记忆网络

通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

Jun, 2016

大规模神经网络训练调查

本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和 GPU 训练，分类总结了相关策略，并且比较了不同类别之间的方法。

Feb, 2022

通过资源分割最大化 CNN 加速器效率

提出了基于 FPGA 的卷积神经网络加速器范例和相应的自适应设计方法，该加速器范例将 FPGA 资源分割成多个处理器，提高卷积神经网络的计算效率和吞吐量

Jun, 2016