Sep, 2018

现代 CPU 上 FFT 卷积比 Winograd 更快，这是为什么

PDF
TL;DR比较了三种高度优化的实现方式（常规 FFT、Gauss-FFT 和 Winograd-based convolution）在现代多核和众核 CPU 上的效果，并使用 Roofline 性能模型对三种方法的计算阶段进行了详细的分析，结果显示 FFT-based 实现通常优于 Winograd-based approach。
winograd-based convolutionconvnetfft-based implementationmulti-core cpusperformance analysis
发现论文，激发创造
  • 通过 FFT 快速训练卷积神经网络

    本文提出了一种使用 Fourier 变换和 GPU 架构，加速卷积网络的训练和推理的算法，并在现有技术的基础上取得了数量级上的改善。

    Dec, 2013

  • DNNs 的 Winograd 卷积：超越线性多项式

    研究表明，在 DNN 中采用更广泛的 Winograd 算法可以显着提高浮点（FP）精度，在 fp16 中，这种方法可以使图像识别准确度提高 6.5 倍，同时保持相同数量的元素逐个乘法运算。

    May, 2019

  • 卷积神经网络的快速算法

    研究使用 Winograd 最小滤波算法加速卷积神经网络在 GPU 上的训练，以满足自动驾驶汽车行人检测和移动电话图像识别的低延迟和有限资源处理要求。

    Sep, 2015

  • 使用 FBFFT 的快速卷积神经网络：GPU 性能评估

    本文研究了卷积神经网络在当前 NVIDIA 图形处理器上的性能，介绍了两种新的快速傅立叶变换卷积实现，对于整个 CNN，fbfft 比 cuFFT 快 1.5 倍以上，并且对于许多普通的卷积层，速度也比 NVIDIA 的 cuDNN 实现 快（达到了一些合成内核配置的 23.5 倍）。

    Dec, 2014

  • 寻找 Winograd 感知量化网络

    提出了一种 Winograd 感知的卷积层形式，通过将 Winograd 变换的数值误差暴露给模型的参数学习来设计具有竞争力的量化模型，同时提出了一种 WiNAS 框架以在准确性和延迟方面联合优化给定宏结构，优化后的 ResNet-18 在 CIFAR-10 上速度提高了 2.66 倍，在不损失准确性的情况下。

    Feb, 2020

  • FlashFFTConv：基于张量核的长序列高效卷积

    我们提出了 FlashFFTConv，一个优化 FFT 卷积的方法，使用矩阵分解结构和稀疏卷积算法实现了长序列任务的加速，同时在计算资源限制下，提高了模型的性能和准确度。

    Nov, 2023

  • 基于 FPGA 的混合高效卷积算法的人脸识别

    本研究通过探索多种快速卷积算法，包括 Winograd 和 FFT，并发现了一种将它们应用于不同类型卷积的最佳策略；实现在基于高级综合的可配置 IP 人脸识别加速系统中使用 FaceNet，并利用并行化的优化方案在新型 CNN 体系结构上，实现比高端 NVIDIA GPU 快 3.75 倍的延迟加速，并显著超过先前的 FPGA 结果。

    Mar, 2018

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 使用 FFT 分裂卷积加速卷积神经网络

    该论文提出了一种新的卷积神经网络快速傅立叶变换域处理方法，该方法基于输入分割，可以有效地解决卷积神经网络中小核计算的问题，并通过硬件实现和复杂性分析验证了其性能。

    Mar, 2020

  • Im2win：GPU 上的高效卷积操作

    本文提出了基于 im2win 的卷积范式，旨在通过持续的内存访问提高性能，并经过了优化技术的改进，与其他基于 cuBLAS 和 cuDNN 的卷积实现相比，内存占用少 23.1% 至 32.8%，性能提高了 3.5 倍至 155 倍。

    Jun, 2023