MEC: 深度神经网络的内存高效卷积
提出了一种名为 im2win 的内存高效数据转换算法,能够实现连续的内存访问和数据重用,从而大大降低内存开销,同时通过各种优化实现高性能二维卷积,平均可以将内存开销降低到 41.6%,相对于 im2col 和不使用数据转换,性能平均提高了 3.6 倍和 5.3 倍。
Jun, 2023
本文提出了基于 im2win 的卷积范式,旨在通过持续的内存访问提高性能,并经过了优化技术的改进,与其他基于 cuBLAS 和 cuDNN 的卷积实现相比,内存占用少 23.1% 至 32.8%,性能提高了 3.5 倍至 155 倍。
Jun, 2023
使用 Indirect Convolution 算法实现卷积操作,避免了传统 GEMM 算法中需要进行 im2col 转换所带来的数据重排和内存开销,并可以适用于更大的卷积核、填充、步幅和膨胀率。
Jul, 2019
本篇论文研究并证明了,当直接卷积实现正确时,消除了所有的内存开销,且效率在传统和嵌入式 CPU 架构上比现有的高性能卷积实现提高了 10% 到 400% 不等,并可以更好地扩展性能,即增加线程数时的性能下降更少。
Sep, 2018
本文提出两种新型基于 GEMM 的算法,分别只需要额外的 O (MHW) 和 O (KW) 的空间,显著降低了 DNN 卷积的空间开销,适用于内存受限的嵌入式系统,并且实验表明我们的低内存算法和最好的图案构建方法一样快,尽管需要的额外内存只相当于后者的一小部分。
Sep, 2017
本文提出了一种新的 MCMK 卷积方法,能够在不使用 im2col 的情况下将卷积核应用于输入图像,相比 im2col 方法,该方法在 CPU 上的速度更快。
Apr, 2017
本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核,该内核可在多节点下高效执行最新的图像识别任务,使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。
Aug, 2018
通过扩展和优化快速 Winograd 级卷积算法,我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性,处理了视频和体积图像分析中的空时特征,并证明了与之前的最先进技术相比,吞吐量提高了 5 到 25 倍。
Nov, 2016