提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015

本文提出了 Block-wisely Self-supervised Neural Architecture Search (BossNAS) 方法，包括定义可搜索的 CNN-transformer 混合结构搜索空间 HyTra、以及新型自监督训练策略 ensemble bootstrapping。在此挑战性的搜索空间上，作者搜索得到的模型 BossNet-T 在 ImageNet 上可达到 82.5% 的准确率，且在 MBConv 和 NATS-Bench 大小的搜索空间上均有较高的最优架构效果。

Mar, 2021

本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

Oct, 2020

本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

Nov, 2019

本文提出了双向耦合网络 (BCNet) 的概念，使用随机补充和先验采样技术来训练 BCNet，能够更准确地评估每个网络宽度。在 CIFAR-10 和 ImageNet 数据集上的实验表明，该方法在性能上超越了其他基线方法，并通过对 NAS 模型的网络宽度进行优化，进一步提高了性能。

May, 2021

本文提出了一种名为 BSN 的新型神经网络，采用基于预算学习的梯度下降技术，在不假设成本性质的条件下，以最大允许成本作为目标函数，解决了神经网络预测效率和成本之间的平衡问题，并通过对计算成本、内存消耗成本和分布式计算成本的三种代价的处理，实现了优于 ResNet 和 Convolutional Neural Fabrics 的结构发现与学习能力。

May, 2017

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

Dec, 2018

本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

Nov, 2017

在网络结构域上，我们提出了一种增量学习嵌入空间的方法，借此实现对架构的选择，该算法可在压缩架构搜索中优于随机搜索和强化学习，其找到的压缩架构也比经典的手动设计的紧凑架构 ShuffleNet 更好。

Feb, 2019