寻找 Winograd 感知量化网络
提出两种 Winograd-based 的 CNNs 的修改方法,即将 ReLU 操作移至 Winograd domain 以提高 transformed activations 的 sparsity,以及在 Winograd domain 中剪枝权重以利用静态权重稀疏性,实现在 CIFAR-10,CIFAR-100 和 ImageNet 数据集上的模型减少乘法次数分别达到 10.4 倍、6.8 倍和 10.8 倍,精度损失小于 0.1%,优于先前的基线 2.0 倍 - 3.0 倍。
Feb, 2018
本论文将 Winograd 算法扩展到残余数字系统 (RNS),使用 Winograd 变换和低成本 (如 8 位) 算术,在不降低网络预测精度的情况下,准确地计算大量的滤波器和激活区块上的最小复杂度卷积,减少算术复杂度高达 7.03 倍,对于 3x3 和 5x5 的卷积核,性能提高达 2.30 倍到 4.69 倍。
Jul, 2020
该研究论文介绍了稀疏方法和 Winograd 卷积的两种正交方法,将其融合可以提高计算性能,同时提供了实现方法和算法,通过 AlexNet 在 ImageNet 数据集上进行 Winograd 系数的本地化训练和修剪,可以得到超过 90%的稀疏度,并实现 5.4 倍加速。
Feb, 2017
该论文介绍了一种新的 Winograd 算法,该算法在复数领域扩展构造,并提出了优化方法,在不显著降低准确度的情况下有效地提高了算法效率。此外,作者们设计并实现了基于整数的过滤器缩放方案,可以有效地减少过滤器的位宽,降低模型大小并提高推理速度。
Jan, 2019
Winograd 卷积对神经网络容错性能的潜力进行了综合评估,结合经典容错设计方法,如三模块冗余、容错训练和受限激活函数,可以有效地降低容错设计开销并提高模型精确性。
Aug, 2023
本文针对移动设备上广泛使用的 ARM Cortex-A CPU,探讨了 Winograd 或 Cook-Toom 特征压缩算法在卷积神经网络上的高效实现,通过优化计算资源的利用和充分发挥 ARMv8-A NEON SIMD 指令集等策略降低了推断延迟,并在数个代表性 CNN 上进行了模型评估,结果显示相比现有的 im2row/im2col 基于优化技术,可在全网络中提高 60% 左右的性能。
Mar, 2019
比较了三种高度优化的实现方式(常规 FFT、Gauss-FFT 和 Winograd-based convolution)在现代多核和众核 CPU 上的效果,并使用 Roofline 性能模型对三种方法的计算阶段进行了详细的分析,结果显示 FFT-based 实现通常优于 Winograd-based approach。
Sep, 2018
研究表明,在 DNN 中采用更广泛的 Winograd 算法可以显着提高浮点(FP)精度,在 fp16 中,这种方法可以使图像识别准确度提高 6.5 倍,同时保持相同数量的元素逐个乘法运算。
May, 2019
该研究提出了一种名为量化卷积神经网络的模型,旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵,实现计算效率的提升和存储内存开销的降低,相对于非量化模型,该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩,仅有 1% 左右的分类准确率损失,并且甚至可以在移动设备上在一秒内精准分类照片。
Dec, 2015
本研究分析了深度神经网络中卷积计算的 numerical accuracy,以 Winograd algorithm 为基础设计了限制误差的 modified algorithm,并提出了 Huffman 编码和 mixed-precision convolution 等多种方法,能显著降低误差并提高计算效率。
Mar, 2018