Sep, 2022

核分离转置卷积操作

PDF
TL;DR本研究提出了一种基于核激活值的算法级优化技术，将原始内核分成四个子内核，从而降低了内存需求和不必要的乘法运算，提高了转置卷积层的计算效率。实验结果显示，采用所提出的优化方法比传统实现快 $2.2$ 倍。
transpose convolutionoptimization techniquesub-kernelsmemory requirementsdeep learning model
发现论文，激发创造
  • 可变形尺度的转置卷积

    本文介绍了一种新的层用于选择性地在图像中放置信息，并选择图像合成的笔划宽度。方法利用了三个想法：首先，回归推断出转置卷积结果的位置偏移量；其次，将偏移位置权重广播到可学习的邻域；第三，利用紧凑参数化共享权重和限制偏移量。最终结果表明，该方法可应用于诸如实例分割、目标检测、语义分割、生成图像建模和 3D 磁共振图像增强等多种任务，并优于现有的转置卷积变体。

    Oct, 2022

  • 多核上的深层张量卷积

    通过扩展和优化快速 Winograd 级卷积算法，我们在 CPU 硬件上最大化 CPU 利用率及多核可伸缩性，处理了视频和体积图像分析中的空时特征，并证明了与之前的最先进技术相比，吞吐量提高了 5 到 25 倍。

    Nov, 2016

  • Im2win：基于 SIMD 结构的内存高效卷积

    提出了一种名为 im2win 的内存高效数据转换算法，能够实现连续的内存访问和数据重用，从而大大降低内存开销，同时通过各种优化实现高性能二维卷积，平均可以将内存开销降低到 41.6％，相对于 im2col 和不使用数据转换，性能平均提高了 3.6 倍和 5.3 倍。

    Jun, 2023

  • Im2win：GPU 上的高效卷积操作

    本文提出了基于 im2win 的卷积范式，旨在通过持续的内存访问提高性能，并经过了优化技术的改进，与其他基于 cuBLAS 和 cuDNN 的卷积实现相比，内存占用少 23.1% 至 32.8%，性能提高了 3.5 倍至 155 倍。

    Jun, 2023

  • 通过跳过零值来减少卷积层的计算复杂度

    本文提出了 C-K-S 算法，通过去除填充值和将稀疏张量转换为密集张量等方式减少生成深度神经网络运算时 0 值造成的计算冗余， 并在 GPU 上实现进行了高效的反向传播运算， 有望进一步方便对特定 GPU 的全面优化。

    Jun, 2023

  • 转置器：利用特征图作为转置卷积滤波器的通用纹理合成技术

    提出了一种基于转置卷积操作的新方法，通过对输入纹理的整个编码特征图作为转置卷积滤波器，以及捕捉自相关信息的特征相似性图作为转置卷积输入，从而在几乎实时的单次前向传递中一次性合成未见过的纹理。

    Jul, 2020

  • 基于低内存 GEMM 的深度神经网络卷积算法

    本文提出两种新型基于 GEMM 的算法，分别只需要额外的 O (MHW) 和 O (KW) 的空间，显著降低了 DNN 卷积的空间开销，适用于内存受限的嵌入式系统，并且实验表明我们的低内存算法和最好的图案构建方法一样快，尽管需要的额外内存只相当于后者的一小部分。

    Sep, 2017

  • 使用快速傅里叶变换和重叠相加的卷积神经网络极其高效训练

    使用 “重叠相加” 技术和快速傅里叶变换来减少卷积神经网络中卷积层的计算时间，实现了更高效的向前和向后传播。

    Jan, 2016

  • 密集预测的高效不变卷积神经网络

    本文提出了基于核旋转和翻转的一组方法，以实现对卷积神经网络中的旋转和翻转不变性，结果表明，这些方法能够在合理的资源要求下实现不同的不变性。

    Nov, 2017

  • 基于 SIMD 架构的高性能深度学习卷积解剖学

    本文介绍了针对 x86 体系结构的直接卷积核和动态编译方法实现的 JIT 优化内核，该内核可在多节点下高效执行最新的图像识别任务，使单机和多节点运行时高效地通过 CPU 执行任务的高吞吐量。

    Aug, 2018