Jun, 2024

在超低功耗设备上加速深度可分卷积

PDF
TL;DR通过融合不同数据布局，我们探索了较传统卷积更高效的深度可分离卷积块，目标是在商业超低功耗设备上减少执行网络的延迟时间最多 11.40%，同时将 L2 和 L1 内存之间的激活数据移动减少最多 52.97%。
depthwise separable convolutionsefficiencyneural networksdata layoutsmemory hierarchy
发现论文，激发创造
  • 使用深度可分离卷积在 FPGA 上加速卷积神经网络

    本文中，提出了一种可扩展的高性能深度可分离卷积优化的卷积神经网络加速器，适用于不同大小的 FPGA，可以实现 GPU 级别的卷积操作，提高了计算速度。在 Arria 10 SoC FPGA 上实现了 MobileNetV2，并取得了比 CPU 快 20 倍的结果。

    Sep, 2018

  • 网络解耦：从常规到深度可分离卷积

    该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

    Aug, 2018

  • 深度分解：在高效卷积神经网络中加速可分离卷积

    本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

    Oct, 2019

  • 深度可分离卷积在神经机器翻译中的应用

    本研究探讨如何将深度可分离卷积应用于神经机器翻译任务。我们提出了一种新的基于 Xception 和 ByteNet 的架构 SliceNet，并发现深度可分离卷积能够在减少参数数量和计算量的同时获得与 ByteNet 相似的性能，同时展示了深度可分离卷积对于神经机器翻译任务的性能表现以及其带来的架构变化。

    Jun, 2017

  • 嵌入式推理加速器硬件架构及深度卷积和大核卷积算法分析

    该论文提出了一种硬件架构，以高灵活性处理深度卷积和常规卷积，支持不同大小的卷积核，具有比相关工作更快的速度和更少的计算和模型大小。此外，DDC 层的使用可以减少计算成本和模型大小，并提高准确性。

    Apr, 2021

  • 可分离层使结构化有效线性替换成为可能

    本文表明，使用结构化线性分解替换点积卷积中的线性元素不仅更高效，而且还提供了在效率 / 准确性方面的达成帕累托最优的成果。

    Jun, 2019

  • 对角重构：一种用于深度卷积的高效训练方法

    本文提出了一种名为 Diagonalwise Refactorization 的有效方法，用于加速深度卷积层的训练，并在 5 个流行的深度学习框架中实现。实验结果表明，相对于深度卷积的原始实现，该方法在 Darknet 上获得了 15.4 倍的加速，Caffe 上获得了 8.4 倍的加速，PyTorch 上获得了 5.4 倍的加速，MXNet 上获得了 3.5 倍的加速，TensorFlow 上获得了 1.4 倍的加速。

    Mar, 2018

  • 快速稀疏卷积神经网络

    本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

    Nov, 2019

  • 重新思考深度可分卷积：内核相关性如何提高 MobileNets 的性能

    本研究提出了基于深度轴内部相关性的蓝图分离卷积（BSConv）作为卷积神经网络的高效构建块，它提供了一种更有效的正则卷积分离方法，实验表明 BSConvs 对 MobileNets 和其他基于深度可分离卷积的架构具有明显和一致的改进效果，可提高细粒度数据集的分类准确率多达 13.7 个百分点，而且作为标准架构的替代品，BSConv 变体在 ImageNet 上的表现也比其原始模型的性能提高了多达 9.5 个百分点。

    Mar, 2020

  • 移动设备上高性能超低精度卷积

    通过对 ARMv7 设备上现代深度学习工作负载所需的核心基本操作进行开源实现和全面分析，我们展示了与现有市场上的 float32 和 int8 基准相比，使用大于 4 位精度的最先进的超低精度技术可获得 4 倍至 20 倍的加速度。

    Dec, 2017