本研究介绍了通道门控（channel gating）方法，该方法是动态、细粒度且硬件高效的裁剪方案，能够通过跳过对分类结果没有贡献的输入通道的计算，优化卷积神经网络。实验证明，该方法能够在几乎不损失准确度的情况下，实现浮点运算量减少 2.7-8.0 倍，内存访问减少 2.0-4.4 倍，并结合知识蒸馏可以进一步降低计算成本。我们还设计了一个加速器，能够以 2.4 倍的速度进行量化的 ResNet-18 模型的推理，并实现了 2.8 倍的理论 FLOP 减少。

May, 2018

该研究通过为卷积层添加任务特定的门控模块，并使用稀疏性目标促进对有限内核集的选择，提出了一种解决序列学习问题的新框架，实现了在没有任务标签信息的情况下的持续学习，该模型的准确度明显优于现有方法。

Mar, 2020

论文提出了一种端到端的神经网络优化框架，通过同时考虑分类误差和批量激活损失，使用 Gumbel 重参数化来学习网络结构，在训练和推理中均能支持网络修剪与条件计算，实验结果在 ImageNet 分类任务中获得了 45-52% 的计算量降低。

Dec, 2018

本文提出了一种新的双流 CNN 架构，其中显式地将形状信息作为单独的处理分支，即形状流，以并行方式处理信息。此架构的关键是一种连接两个流的中间层的新型门，用于连接经典流的高级激活以控制形状流的低级激活，有效地消除噪声并帮助形状流仅关注处理相关边界信息。实验表明，该方法在 Cityscapes 基准上可以显着提高细小物体的性能，并取得了最先进的性能。

Jul, 2019

本文提出了一种基于条件输入图像的动态卷积方法，其中通过引入一个小型门控分支来学习空间位置，以决定应该对哪些区域进行评估，通过在 CIFAR、ImageNet 和 MPII 数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面，相对已有方法具有更好的准确性和处理效率。

Dec, 2019

本文提出了一种名为 GaterNet 的借助于门控网络实现的动态卷积神经网络滤波器选择框架，通过丰富 CNN 模型的学习方式，提高了模型性能并得出了比原论文更好的实验结果。

Nov, 2018

本文介绍了一种新的大批量训练算法：LARS，该算法采用分层自适应速率缩放，可使得尽管使用大批量训练，Alexnet 和 Resnet-50 的准确性不会降低。

Aug, 2017

本文提出了一种基于改进的深度卷积 WaveNet 框架的条件时间序列预测方法，该方法通过多个卷积滤波器并行应用于各个时间序列来完成条件操作，从而加速数据处理和利用多元时间序列之间的相关性，可以有效地学习和预测金融时间序列，且性能优于常用的自回归模型和长短期记忆网络。

Mar, 2017

通过使用 SkipNet，结合特定输入实现卷积层跳过的目的。我们提出了一个混合学习算法，以解决非可微分跳过决策的问题，并在四个基准数据集上展示了 SkipNet 可以在保留准确性的基础上减少计算量 30-90%。此外，我们定性评估了门控策略，揭示了图像大小和显著性以及跳过层数之间的关系。

Nov, 2017

本文介绍了一种新的快捷方式方法 ——gated shortcut，该方法在保留残差块的优点的同时，进一步提高了 GAN 性能。在 CIFAR-10、CIFAR-100、LSUN 和 tiny-ImageNet 等标准数据集上进行的大量实验结果表明，gated shortcut 取得了令人印象深刻的 GAN 性能，如 Frechet inception distance（FID）和 Inception score（IS）。

Jan, 2022