提出了一种新的 Ghost 模块，通过一系列的线性变换和廉价成本，生成更多的特征映射，可作为现有 CNN 的插件组件升级，实验证明与 MobileNetV3 相比，GhostNet 在计算成本相似的情况下，可以达到更高的识别性能。

Nov, 2019

提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015

本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。

Dec, 2016

本文研究如何利用半监督学习技术解决深度紧凑架构在生物医学图像分类中的问题。使用三个紧凑网络家族和两个半监督学习技术家族来比较不同方法在 10 个生物医学任务中的性能，最终结合数据蒸馏和 MixNet 及 ResNet-18 等取得最佳结果，并为此开发了一个简化紧凑模型构建的库。

May, 2022

本文介绍了一种基于新型模块 Conv-M 的超轻量级深度神经网络，该神经网络在不降低单数据集分类精度的前提下，提高了领域自适应 (DA) 任务的准确性，通过无监督的 DA 方法，在提高模型 invariance 同时，也适应了标签预测。该神经网络仅有 410 万参数，是 AlexNet 的 6.7％或 GoogLeNet 的 59％，并在常见的 Office-31 和 Office-Caltech 数据集上达到了 18 个 DA 任务中的 16 个的最新最佳水平。

Mar, 2017

本论文旨在为包括 CPU 和 GPU 在内的异构设备设计高效的神经网络，尤其是通过利用特征映射中的冗余，并提出了 CPU 和 GPU 适用的解决方案。通过提出一种新的 CPU-efficient Ghost（C-Ghost）模块来生成更多的特征映射，以及在 GPU 构建阶段利用阶段性特征冗余来形成 GPU-efficient Ghost（G-Ghost）阶段结构，并在基准测试中进行实验以证明所提出的有用性。

Jan, 2022

本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

Nov, 2018

本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师 - 学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。

Oct, 2016

本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

Dec, 2019

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019