Mar, 2018

对角重构：一种用于深度卷积的高效训练方法

PDF
TL;DR本文提出了一种名为 Diagonalwise Refactorization 的有效方法，用于加速深度卷积层的训练，并在 5 个流行的深度学习框架中实现。实验结果表明，相对于深度卷积的原始实现，该方法在 Darknet 上获得了 15.4 倍的加速，Caffe 上获得了 8.4 倍的加速，PyTorch 上获得了 5.4 倍的加速，MXNet 上获得了 3.5 倍的加速，TensorFlow 上获得了 1.4 倍的加速。
depthwise convolutiongpu accelerationdiagonalwise refactorizationdeep learning frameworkstraining speedup
发现论文，激发创造
  • 嵌入式推理加速器硬件架构及深度卷积和大核卷积算法分析

    该论文提出了一种硬件架构，以高灵活性处理深度卷积和常规卷积，支持不同大小的卷积核，具有比相关工作更快的速度和更少的计算和模型大小。此外，DDC 层的使用可以减少计算成本和模型大小，并提高准确性。

    Apr, 2021

  • 网络解耦：从常规到深度可分离卷积

    该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

    Aug, 2018

  • 深度分解：在高效卷积神经网络中加速可分离卷积

    本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

    Oct, 2019

  • 在超低功耗设备上加速深度可分卷积

    通过融合不同数据布局，我们探索了较传统卷积更高效的深度可分离卷积块，目标是在商业超低功耗设备上减少执行网络的延迟时间最多 11.40%，同时将 L2 和 L1 内存之间的激活数据移动减少最多 52.97%。

    Jun, 2024

  • 加速用于分类和检测的非常深的卷积网络

    本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

    May, 2015

  • 使用深度可分离卷积在 FPGA 上加速卷积神经网络

    本文中，提出了一种可扩展的高性能深度可分离卷积优化的卷积神经网络加速器，适用于不同大小的 FPGA，可以实现 GPU 级别的卷积操作，提高了计算速度。在 Arria 10 SoC FPGA 上实现了 MobileNetV2，并取得了比 CPU 快 20 倍的结果。

    Sep, 2018

  • 训练期间自适应排名谱剪枝卷积层

    本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

    May, 2023

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • DiCENet: 用于高效网络的逐维卷积

    提出了一种新型的通用卷积单元 DiCE unit，利用按维度卷积和维度融合有效地将输入张量的空间和通道信息编码，可以无缝地集成到任何架构中以提高效率和性能，在图像分类、目标检测和语义分割等各种计算机视觉任务中，DiCENet 模型比现有技术手动设计的模型具有更高的精度和更好的泛化性能。

    Jun, 2019

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014