仅需简单卷积移位：设计高效的卷积神经网络用于图像分类

CVPRMar, 2019

仅需简单卷积移位：设计高效的卷积神经网络用于图像分类

All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image Classification

Weijie Chen, Di Xie, Yuan Zhang, Shiliang Pu

TL;DR本文介绍了一种基于 Sparse Shift Layer（SSL）的卷积神经网络构建方法，最终构建出只有 1x1 卷积层和少量位移操作的网络结构，通过优化和量化学习方法实现了极高的准确率和实用速度。

Abstract

Shift operation is an efficient alternative over depthwise separable convolution. However, it is still bottlenecked by its implementation manner, namely memory movement. To put this direction forward, a new and novel basic component named sparse shift layer (SSL) is introduced in this

sparse shift layer convolutional neural networks optimization quantization-aware shift learning method fe-net

发现论文，激发创造

DeepShift：面向无乘法神经网络

提出使用卷积位移和完全连接位移加速模型部署到边缘计算平台。在使用 DeepShift 模型转换和训练的预先训练的 ResNet18，ResNet50，VGG16 和 GoogleNet 模型中，可以获得接近甚至更高的准确率，并且 GPU 内核可以减少 25% 的延迟时间，具有较好的应用前景。

May, 2019

通过卷积反构建构建快速网络

本研究旨在降低卷积神经网络的资源成本，提出了一种名为 active shift layer 的新型移位操作，实现了最优位移值，通过这种操作，提出了一种轻型快速网络，超越了现有的最先进的网络。

May, 2018

Shift: 一种零 FLOP，零参数的替代空间卷积方法

本文提出一种基于 shift 的操作，用于代替 spatial convolutions 提高神经网络的效率，并在分类、人脸识别、风格迁移等各类领域中取得了不错的表现。

Nov, 2017

ShiftCNN: 普遍的低精度卷积神经网络推理架构

介绍了 ShiftCNN，这是一种基于 2 的 n 次幂权重表示的广义低精度卷积神经网络（CNN）推理架构，可应用于任何具有相对较小权重代码本的 CNN 架构，并且减少至少两个数量级的乘积运算，可实现的加速器有 FPGAs 或 ASICs。使用提议的量化算法，ImageNet 的广泛评估表明可以将最先进的 CNN 转换为 ShiftCNN 并且不到 1% 的准确率下降。

Jun, 2017

4 连通移位残差网络

本文研究了如何应用转移运算以替代空间卷积操作，通过将 8-connected 和 4-connected 邻域组的转移操作应用于 ResNet 的 point-wise 卷积中，实现了与全残差网络相同的准确性，同时将参数和计算要求降低了 40％，通过减少横向连接层数来生成了一个准确性更高的新 ResNet 网络。

Oct, 2019

DenseShift：面向准确和可迁移的低比特移位网络

提出了一种名为 DenseShift 的神经网络，在低比特训练和转移学习方面具有优越的性能，通过零 - free 位移机制，新的度量标准和随机初始化策略，有效地简化了推理并提高了模型容量。

Aug, 2022

Shift-ConvNets：小卷积核具有大核效应

最近的研究发现，视觉变换器（ViTs）的出色性能得益于大的接受域。因此，大型卷积核设计成为了使卷积神经网络（CNNs）再次伟大的理想解决方案。然而，典型的大卷积核证明是不符合各种硬件平台的操作符，导致不兼容。因此，简单地扩大卷积核尺寸是不明智的。本文中，我们揭示了小卷积核和卷积操作可以实现与大卷积核尺寸相近的效果。然后，我们提出了一种能够在保持硬件友好性的同时通过稀疏机制，确保 CNNs 捕捉长距离依赖关系的位移式操作符。实验结果表明，我们的位移式操作符显著提高了常规 CNN 的准确性，同时大幅降低了计算要求。在 ImageNet-1k 上，我们增强的位移式 CNN 模型胜过了最先进的模型。代码和模型详见该网址。

Jan, 2024

Shift-Net: 基于深度特征重排的图像修复

本文提出了一种名为 Shift-Net 的 U-Net 架构的特殊移位连接层，用于使用编码器任务中已知的区域以估算缺失部分，并通过引入辅助损失函数来训练整个模型，实现图像修复中具有更加清晰，精细纹理和逼真视觉效果的结果。

Jan, 2018

真正平移不变卷积神经网络

本文提出了自适应多相采样（APS）的简单子采样方案，使卷积神经网络实现了 100% 的 “移位一致” 的分类性能，而且拥有训练前的完美 “移位一致性”，这是使卷积神经网络真正具有 “移位不变性” 的第一实践方法。

Nov, 2020

轻量级图像超分辨率的全一次卷积网络

基于参数无关的空间位移操作，我们提出了一种简单而有效的全 $1 imes1$ 卷积网络，名为 Shift-Conv-based Network (SCNet)，在保持令人印象深刻的计算效率的同时，赋予全 $1 imes1$ 卷积网络强大的表示能力。大量实验证明，尽管结构为全 $1 imes1$ 卷积，SCNet 一致性地达到或超过使用常规卷积的现有轻量级超分辨率模型的性能。

Jul, 2023