Mar, 2018

深度神经网络中 Winograd 卷积的误差分析与提高精度方法

PDF
TL;DR本研究分析了深度神经网络中卷积计算的 numerical accuracy，以 Winograd algorithm 为基础设计了限制误差的 modified algorithm，并提出了 Huffman 编码和 mixed-precision convolution 等多种方法，能显著降低误差并提高计算效率。
deep neural networkswinograd algorithmfloating point numerical accuracyconvolution computationmixed-precision convolution
发现论文，激发创造
  • DNNs 的 Winograd 卷积：超越线性多项式

    研究表明，在 DNN 中采用更广泛的 Winograd 算法可以显着提高浮点（FP）精度，在 fp16 中，这种方法可以使图像识别准确度提高 6.5 倍，同时保持相同数量的元素逐个乘法运算。

    May, 2019

  • 探索适用于成本效益的神经网络容错的 Winograd 卷积

    Winograd 卷积对神经网络容错性能的潜力进行了综合评估，结合经典容错设计方法，如三模块冗余、容错训练和受限激活函数，可以有效地降低容错设计开销并提高模型精确性。

    Aug, 2023

  • 寻找 Winograd 感知量化网络

    提出了一种 Winograd 感知的卷积层形式，通过将 Winograd 变换的数值误差暴露给模型的参数学习来设计具有竞争力的量化模型，同时提出了一种 WiNAS 框架以在准确性和延迟方面联合优化给定宏结构，优化后的 ResNet-18 在 CIFAR-10 上速度提高了 2.66 倍，在不损失准确性的情况下。

    Feb, 2020

  • 基于分块定点算术的卷积神经网络加速器设计中的计算误差分析

    本文在不重新训练的情况下测试了几种经典的卷积神经网络 (CNN) 模型，验证了使用块浮点算法 (BFP) 在 CNN 加速器中定义字宽的效果，并探究了理论计算误差，提出了噪声信号比（NSR）的上限，为基于 BFP 的 CNN 引擎设计提供了有价值的指导。

    Sep, 2017

  • 基于高效剩余数系统的 Winograd 卷积

    本论文将 Winograd 算法扩展到残余数字系统 (RNS)，使用 Winograd 变换和低成本 (如 8 位) 算术，在不降低网络预测精度的情况下，准确地计算大量的滤波器和激活区块上的最小复杂度卷积，减少算术复杂度高达 7.03 倍，对于 3x3 和 5x5 的卷积核，性能提高达 2.30 倍到 4.69 倍。

    Jul, 2020

  • 现代 CPU 上 FFT 卷积比 Winograd 更快，这是为什么

    比较了三种高度优化的实现方式（常规 FFT、Gauss-FFT 和 Winograd-based convolution）在现代多核和众核 CPU 上的效果，并使用 Roofline 性能模型对三种方法的计算阶段进行了详细的分析，结果显示 FFT-based 实现通常优于 Winograd-based approach。

    Sep, 2018

  • 基于整数算术的高效 Winograd 卷积

    该论文介绍了一种新的 Winograd 算法，该算法在复数领域扩展构造，并提出了优化方法，在不显著降低准确度的情况下有效地提高了算法效率。此外，作者们设计并实现了基于整数的过滤器缩放方案，可以有效地减少过滤器的位宽，降低模型大小并提高推理速度。

    Jan, 2019

  • 高效稀疏 Winograd 卷积神经网络

    提出两种 Winograd-based 的 CNNs 的修改方法，即将 ReLU 操作移至 Winograd domain 以提高 transformed activations 的 sparsity，以及在 Winograd domain 中剪枝权重以利用静态权重稀疏性，实现在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上的模型减少乘法次数分别达到 10.4 倍、6.8 倍和 10.8 倍，精度损失小于 0.1％，优于先前的基线 2.0 倍 - 3.0 倍。

    Feb, 2018

  • SFC：在低精度算术下实现准确快速卷积

    通过采用符号计算扩展离散傅里叶变换 (DFT) 的 SFC，只需要在特定转换点执行加法运算，从而避免了计算无理数并降低了对精度的要求，同时通过引入修正项将傅里叶方法的无效循环卷积输出转换为有效输出，首次提出了数值误差分析，证明了我们算法在三维卷积上可以实现 3.68 倍的乘法减少，而 Winograd 算法只能达到 2.25 倍减少，同时在基准和 FPGA 实验中表明我们的新算法可以进一步提高量子化模型的计算效率并保持准确性，超过了仅量子化方法和现有的快速卷积量化研究。

    Jul, 2024

  • DWM：一种可分解的 Winograd 卷积加速方法

    本文提出了一种新的分解 Winograd 方法（DWM），可以显著提高 Winograd 算法在卷积神经网络中的应用范围（包括大尺寸核和大步长卷积），从而在保持数值精度的同时，减少计算量和提高性能。

    Feb, 2020