提出了一种名为 im2win 的内存高效数据转换算法，能够实现连续的内存访问和数据重用，从而大大降低内存开销，同时通过各种优化实现高性能二维卷积，平均可以将内存开销降低到 41.6％，相对于 im2col 和不使用数据转换，性能平均提高了 3.6 倍和 5.3 倍。

Jun, 2023

本文提出了基于 im2win 的卷积范式，旨在通过持续的内存访问提高性能，并经过了优化技术的改进，与其他基于 cuBLAS 和 cuDNN 的卷积实现相比，内存占用少 23.1% 至 32.8%，性能提高了 3.5 倍至 155 倍。

Jun, 2023

本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

Sep, 2017

本文提出了一种新的 MCMK 卷积方法，能够在不使用 im2col 的情况下将卷积核应用于输入图像，相比 im2col 方法，该方法在 CPU 上的速度更快。

Apr, 2017

本文提出一种具有内存效率的卷积方法，即 MEC，使用简单且高效 / 紧凑的方式降低输入矩阵的内存开销，提高卷积运算速度，显著减少内存消耗，在移动设备和服务器平台上都具有良好的加速效果，适用于卷积运算的深度神经网络模型。

Jun, 2017

本篇论文研究并证明了，当直接卷积实现正确时，消除了所有的内存开销，且效率在传统和嵌入式 CPU 架构上比现有的高性能卷积实现提高了 10% 到 400% 不等，并可以更好地扩展性能，即增加线程数时的性能下降更少。

Sep, 2018

本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

Aug, 2018

本研究提出了一种基于核激活值的算法级优化技术，将原始内核分成四个子内核，从而降低了内存需求和不必要的乘法运算，提高了转置卷积层的计算效率。实验结果显示，采用所提出的优化方法比传统实现快 $2.2$ 倍。

Sep, 2022

通过建立查找表并在推理时高效地访问它们，DeepGEMM 可以在 SIMD 硬件上执行超低精度卷积神经网络，比现有框架中的对应 8 位整数核心性能提高了高达 1.74 倍。

Apr, 2023

本文介绍了名为交织组卷积神经网络（IGCNets）的简单和模块化神经网络架构，讨论了其在提高计算效率方面的优势，并通过对标准基准测试的实证结果证明其更有效地利用参数和计算复杂度。

Jul, 2017