介绍了 ShiftCNN，这是一种基于 2 的 n 次幂权重表示的广义低精度卷积神经网络（CNN）推理架构，可应用于任何具有相对较小权重代码本的 CNN 架构，并且减少至少两个数量级的乘积运算，可实现的加速器有 FPGAs 或 ASICs。使用提议的量化算法，ImageNet 的广泛评估表明可以将最先进的 CNN 转换为 ShiftCNN 并且不到 1% 的准确率下降。

Jun, 2017

提出了一种名为 DenseShift 的神经网络，在低比特训练和转移学习方面具有优越的性能，通过零 - free 位移机制，新的度量标准和随机初始化策略，有效地简化了推理并提高了模型容量。

Aug, 2022

ShiftAddNet 是一种硬件启发式的深度神经网络，通过只使用位移和加权层替代传统的乘法运算来实现深度网络的显式参数化，从而获得与标准深度神经网络相当的表达能力和更加灵活的精度和效率之间的权衡，并且可以与量化和修剪等技术结合，实现在训练和推理中更加节能高效的性能。

Oct, 2020

本文介绍了一种基于 Sparse Shift Layer（SSL）的卷积神经网络构建方法，最终构建出只有 1x1 卷积层和少量位移操作的网络结构，通过优化和量化学习方法实现了极高的准确率和实用速度。

Mar, 2019

本研究旨在降低卷积神经网络的资源成本，提出了一种名为 active shift layer 的新型移位操作，实现了最优位移值，通过这种操作，提出了一种轻型快速网络，超越了现有的最先进的网络。

May, 2018

本文研究了如何应用转移运算以替代空间卷积操作，通过将 8-connected 和 4-connected 邻域组的转移操作应用于 ResNet 的 point-wise 卷积中，实现了与全残差网络相同的准确性，同时将参数和计算要求降低了 40％，通过减少横向连接层数来生成了一个准确性更高的新 ResNet 网络。

Oct, 2019

本文提出一种基于 shift 的操作，用于代替 spatial convolutions 提高神经网络的效率，并在分类、人脸识别、风格迁移等各类领域中取得了不错的表现。

Nov, 2017

该研究工作介绍一种名为 ShiftAddNAS 的模型搜索算法，倡导用既具有强大计算能力又经济高效的操作符制约神经网络的深度学习，旨在寻找更为准确和高效的混合神经网络。该算法实现了多种操作符的混合和权重共享，并在各个首要指标和场景下均取得了显著优化。

May, 2022

研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

Oct, 2015

本研究提出了一种新的方法 (S2FP8) ，使用 8 位浮点（FP8）数来训练深度神经网络，可以在训练时实现更大的有效内存和增加计算速度，并且在 ResNet-50、Transformer 和 NCF 等模型中表现良好，无需微调损失缩放参数或使某些层在单精度中运行；同时，引入了一些可学习的 DNN 张量统计上的偏移和挤压参数，以优化 8 位张量的使用范围，从而减少量化带来的信息损失。

Jan, 2020