NIPSMay, 2018

通过卷积反构建构建快速网络

PDF
TL;DR本研究旨在降低卷积神经网络的资源成本，提出了一种名为 active shift layer 的新型移位操作，实现了最优位移值，通过这种操作，提出了一种轻型快速网络，超越了现有的最先进的网络。
convolutional neural networksresource costsactive shift layeroptimizationfast network
发现论文，激发创造
  • 仅需简单卷积移位：设计高效的卷积神经网络用于图像分类

    本文介绍了一种基于 Sparse Shift Layer（SSL）的卷积神经网络构建方法，最终构建出只有 1x1 卷积层和少量位移操作的网络结构，通过优化和量化学习方法实现了极高的准确率和实用速度。

    Mar, 2019

  • DeepShift：面向无乘法神经网络

    提出使用卷积位移和完全连接位移加速模型部署到边缘计算平台。在使用 DeepShift 模型转换和训练的预先训练的 ResNet18，ResNet50，VGG16 和 GoogleNet 模型中，可以获得接近甚至更高的准确率，并且 GPU 内核可以减少 25% 的延迟时间，具有较好的应用前景。

    May, 2019

  • ShiftCNN: 普遍的低精度卷积神经网络推理架构

    介绍了 ShiftCNN，这是一种基于 2 的 n 次幂权重表示的广义低精度卷积神经网络（CNN）推理架构，可应用于任何具有相对较小权重代码本的 CNN 架构，并且减少至少两个数量级的乘积运算，可实现的加速器有 FPGAs 或 ASICs。使用提议的量化算法，ImageNet 的广泛评估表明可以将最先进的 CNN 转换为 ShiftCNN 并且不到 1% 的准确率下降。

    Jun, 2017

  • 基于速率压缩原理的深度网络

    该研究尝试从速率减少和（移位）不变分类的原理解释现代深度（卷积）网络，并提供了一种基于梯度优化方案的前向传播方法来构建网络，其中包括层级结构，线性和非线性操作以及参数。此方法还揭示和证明了深度网络早期阶段的多通道升级和稀疏编码的作用，正式强制分类为严格移位不变时，所得到的网络的所有线性操作自然成为多通道卷积。同时，该卷积网络训练所需的成本更低，学习效率更高。初步模拟和实验表明，即使没有任何反向传导训练，基于该理论构建的深度网络已经可以学习良好的判别表示。

    Oct, 2020

  • 4 连通移位残差网络

    本文研究了如何应用转移运算以替代空间卷积操作，通过将 8-connected 和 4-connected 邻域组的转移操作应用于 ResNet 的 point-wise 卷积中，实现了与全残差网络相同的准确性，同时将参数和计算要求降低了 40％，通过减少横向连接层数来生成了一个准确性更高的新 ResNet 网络。

    Oct, 2019

  • Shift: 一种零 FLOP，零参数的替代空间卷积方法

    本文提出一种基于 shift 的操作，用于代替 spatial convolutions 提高神经网络的效率，并在分类、人脸识别、风格迁移等各类领域中取得了不错的表现。

    Nov, 2017

  • 真正平移不变卷积神经网络

    本文提出了自适应多相采样（APS）的简单子采样方案，使卷积神经网络实现了 100% 的 “移位一致” 的分类性能，而且拥有训练前的完美 “移位一致性”，这是使卷积神经网络真正具有 “移位不变性” 的第一实践方法。

    Nov, 2020

  • DenseShift：面向准确和可迁移的低比特移位网络

    提出了一种名为 DenseShift 的神经网络，在低比特训练和转移学习方面具有优越的性能，通过零 - free 位移机制，新的度量标准和随机初始化策略，有效地简化了推理并提高了模型容量。

    Aug, 2022

  • 使卷积网络再次具有平移不变性

    本篇研究提出，在现代卷积网络中添加抗锯齿模块能较好地提高模型的精度，使其具有更好的普适性和鲁棒性。

    Apr, 2019

  • 无别名卷积网络：通过多项式激活实现分数移不变性

    本文提出一种扩展的反锯齿方法，旨在解决由下采样层和非线性层引起的失真问题，从而创造真正无失真的平移不变的 CNN，并且在整数和分数（即次像素）平移方面具有不变性，因此在对抗平移的鲁棒性方面优于其他平移不变方法。

    Mar, 2023