Jun, 2017

MEC: 深度神经网络的内存高效卷积

HTML
PDF
TL;DR本文提出一种具有内存效率的卷积方法，即MEC，使用简单且高效/紧凑的方式降低输入矩阵的内存开销，提高卷积运算速度，显著减少内存消耗，在移动设备和服务器平台上都具有良好的加速效果，适用于卷积运算的深度神经网络模型。
发现论文，激发创造
  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用“重叠相加”技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 使用普通矩阵乘法进行并行多通道卷积

    本文提出了一种新的MCMK卷积方法，能够在不使用im2col的情况下将卷积核应用于输入图像，相比im2col方法，该方法在CPU上的速度更快。

    Apr, 2017

  • MemNet: 一种用于图像恢复的持久性记忆网络

    本研究提出了一种深度递归网络模型，即MemNet，用于图像去噪、超分辨率和JPEG去块等图像恢复应用，该模型使用适应性学习过程明确挖掘不变性和连续性，具有优异的性能表现。

    Aug, 2017

  • 基于低内存GEMM的深度神经网络卷积算法

    本文提出两种新型基于GEMM的算法，分别只需要额外的O(MHW)和O(KW)的空间，显著降低了DNN卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

    Sep, 2017

  • 使用百万像素图像训练卷积神经网络

    本文介绍了一种可以在有限的内存下训练深度卷积神经网络的方法，可以使用较大的图像尺寸，并通过定量比较证明了该方法与传统方法等效。

    Apr, 2018

  • 高性能零内存开销直接卷积

    本篇论文研究并证明了，当直接卷积实现正确时，消除了所有的内存开销，且效率在传统和嵌入式CPU架构上比现有的高性能卷积实现提高了10%到400%不等，并可以更好地扩展性能，即增加线程数时的性能下降更少。

    Sep, 2018

  • 间接卷积算法

    使用Indirect Convolution算法实现卷积操作，避免了传统GEMM算法中需要进行im2col转换所带来的数据重排和内存开销，并可以适用于更大的卷积核、填充、步幅和膨胀率。

    Jul, 2019

  • Im2win：GPU 上的高效卷积操作

    本文提出了基于im2win的卷积范式，旨在通过持续的内存访问提高性能，并经过了优化技术的改进，与其他基于cuBLAS和cuDNN的卷积实现相比，内存占用少23.1%至32.8%，性能提高了3.5倍至155倍。

    Jun, 2023

  • Im2win：基于SIMD结构的内存高效卷积

    提出了一种名为im2win的内存高效数据转换算法，能够实现连续的内存访问和数据重用，从而大大降低内存开销，同时通过各种优化实现高性能二维卷积，平均可以将内存开销降低到41.6％，相对于im2col和不使用数据转换，性能平均提高了3.6倍和5.3倍。

    Jun, 2023

  • 为设备视觉任务设计极为节省内存的卷积神经网络

    本研究解决了资源受限的低端嵌入式和物联网设备在图像分类和对象检测等视觉任务中内存不足的问题。通过提出输入分割、补丁隧道和瓶颈重排等三种设计原则，显著降低了卷积神经网络的内存峰值使用，使其能够在仅63 KB的内存下实现竞争力的准确率（61.58%）。这一成果显示出该网络在内存使用上远小于现有的高效网络，具有重要的应用潜力。

    Aug, 2024