通过将 3D 重塑的卷积核张量与其各种分片和秩 - 1 分解相连，连接了各种张量逼近方法和高效 CNN 模块之间的直接联系，同时发现点对点深度点（PDP）配置对于轻量级 CNN 构造是可行的，并建立了与最新的 ShiftNet 的新链接，启发了首次移位层修剪，能够以小于 1% 的精度下降实现近 50% 的压缩。

Dec, 2023

该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

Aug, 2018

提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015

本文介绍了一种基于 Sparse Shift Layer（SSL）的卷积神经网络构建方法，最终构建出只有 1x1 卷积层和少量位移操作的网络结构，通过优化和量化学习方法实现了极高的准确率和实用速度。

Mar, 2019

本研究旨在降低卷积神经网络的资源成本，提出了一种名为 active shift layer 的新型移位操作，实现了最优位移值，通过这种操作，提出了一种轻型快速网络，超越了现有的最先进的网络。

May, 2018

通过融合不同数据布局，我们探索了较传统卷积更高效的深度可分离卷积块，目标是在商业超低功耗设备上减少执行网络的延迟时间最多 11.40%，同时将 L2 和 L1 内存之间的激活数据移动减少最多 52.97%。

Jun, 2024

该论文探讨采用内置无参操作替换空间操作的网络架构的有效性，实验结果表明，这种架构可以在不牺牲模型精度的情况下进一步提高网络速度和效率，尤其适用于 ImageNet 数据集。

Feb, 2022

该研究尝试从速率减少和（移位）不变分类的原理解释现代深度（卷积）网络，并提供了一种基于梯度优化方案的前向传播方法来构建网络，其中包括层级结构，线性和非线性操作以及参数。此方法还揭示和证明了深度网络早期阶段的多通道升级和稀疏编码的作用，正式强制分类为严格移位不变时，所得到的网络的所有线性操作自然成为多通道卷积。同时，该卷积网络训练所需的成本更低，学习效率更高。初步模拟和实验表明，即使没有任何反向传导训练，基于该理论构建的深度网络已经可以学习良好的判别表示。

Oct, 2020

本文介绍了一种可以加速大型卷积神经网络测试时间评估的技术，通过利用卷积滤波器中的线性结构进行逼近计算，可以在保持模型准确率的同时，将 CPU 和 GPU 上的卷积层速度提高了 2 倍。

Apr, 2014

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020