Jun, 2023

通过跳过零值来减少卷积层的计算复杂度

PDF
TL;DR本文提出了 C-K-S 算法，通过去除填充值和将稀疏张量转换为密集张量等方式减少生成深度神经网络运算时 0 值造成的计算冗余， 并在 GPU 上实现进行了高效的反向传播运算， 有望进一步方便对特定 GPU 的全面优化。
convolutional layersc-k-s algorithmdeconvolutiondilated-convolutiongpu implementations
发现论文，激发创造
  • 网络反卷积

    本文讨论了卷积神经网络中重复数据学习的问题，提出了基于网络去卷积的方法，通过一系列实验发现该方法能够有效地提高模型性能并加速训练收敛速度。

    May, 2019

  • 核分离转置卷积操作

    本研究提出了一种基于核激活值的算法级优化技术，将原始内核分成四个子内核，从而降低了内存需求和不必要的乘法运算，提高了转置卷积层的计算效率。实验结果显示，采用所提出的优化方法比传统实现快 $2.2$ 倍。

    Sep, 2022

  • 高效视频处理的跳跃卷积

    通过 Skip-Convolutions 算法，有效利用视频流的时间冗余，将所有卷积替换成 Skip-Convolutions，可以将计算成本降低 3 至 4 倍，同时不会降低准确性，从而显著提高模型压缩和图像效率。

    Apr, 2021

  • 训练期间自适应排名谱剪枝卷积层

    本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

    May, 2023

  • 卷积神经网络中稀疏性的力量

    通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

    Feb, 2017

  • 低精度和稀疏性加速深度卷积网络

    本研究旨在通过采用极低精度（2 位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约 3 倍，且在 Imagenet 物体分类挑战上取得了最高报道准确度。为了充分利用低精度网络优势，研究小组开发了一种深度学习加速器核心 dLAC，可实现每平方毫米单精度浮点运算的 TFLOP 当量，半精度时可达到每平方毫米的 2 个 TFLOP。

    Oct, 2016

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • 多核上的深层张量卷积

    通过扩展和优化快速 Winograd 级卷积算法，我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性，处理了视频和体积图像分析中的空时特征，并证明了与之前的最先进技术相比，吞吐量提高了 5 到 25 倍。

    Nov, 2016

  • 基于 SIMD 架构的高性能深度学习卷积解剖学

    本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

    Aug, 2018

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014