该论文提出了一种称为网络解耦（ND）的训练方法，可以将已有的卷积神经网络模型转换到 MobileNet 等深度可分离卷积结构中，进而加速 CNN，减少严重的准确度下降。通过实验，作者证明了 ND 与其他训练 - free 方法正交，可以更大程度的加速 CNN。

Aug, 2018

通过融合不同数据布局，我们探索了较传统卷积更高效的深度可分离卷积块，目标是在商业超低功耗设备上减少执行网络的延迟时间最多 11.40%，同时将 L2 和 L1 内存之间的激活数据移动减少最多 52.97%。

Jun, 2024

本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

Apr, 2017

通过分析 MobileNets 在量化后的分布动态中的不匹配性、动态范围波动、以及 DWSCNN 较传统 CNN 更易受到量化累积误差等现象，揭示了 DWSCNN 量化表现不佳的根本原因。这些认知或许能帮助未来发展出纠正此类问题，提高移动上的后训练量化表现的策略。

Apr, 2021

最近在深度可分离卷积神经网络（DS-CNNs）方面的进展已经引发了新的架构，通过相当大的可扩展性和准确性优势，超越了经典 CNNs 的性能。本文揭示了 DS-CNN 架构的另一个引人注目的特性：它们训练后的深度卷积核在所有层中出现了明显可辨和可解释的模式。通过对数百万个训练滤波器的广泛分析，我们使用自编码器进行无监督聚类，对这些滤波器进行了分类。令人惊讶的是，这些模式汇聚成了几个主要簇，每个簇都类似于高斯差分函数（DoG）及其一阶和二阶导数。值得注意的是，我们能够将来自最先进的 ConvNextV2 和 ConvNeXt 模型的滤波器分别分类为 95％和 90％以上。这一发现不仅仅是技术上的奇特之处；它回应了神经科学家长期以来对哺乳动物视觉系统的基础模型的提议。因此，我们的结果加深了对训练后 DS-CNN 的出现属性的理解，并在人工和生物视觉处理系统之间提供了一个桥梁。更广泛地说，它们为未来更具可解释性和生物灵感的神经网络设计铺平了道路。

Jan, 2024

本文系统地研究了不同核大小的影响，提出了一种新的混合深度卷积（MixConv），将多个核大小自然混合在单个卷积中，为现有的 MobileNets 在 ImageNet 分类和 COCO 目标检测中提高了准确性和效率。

Jul, 2019

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019

本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

Oct, 2019

本文提出了一种新的基本架构模块 ANTBlock，以提高网络的表征能力，同时具有较低的计算成本和参数数量。在多个数据集上进行测试结果表明，ANTNet 在性能上优于基于移动设备低成本的卷积神经网络，其利用两层卷积之间通道间的关联性，进一步优化网络的表征能力。

Apr, 2019

提出一种名为 Dynamic Convolution 的新设计，基于卷积核的注意力动态地聚合多个并行卷积核，从而增加模型复杂度，提高卷积神经网络的表示能力，有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。

Dec, 2019