本文介绍一种名为 Contrastive Deep Supervision 的新型训练框架，该框架使用基于 augmentation 的对比学习来监督中间层，从而在多种深度学习任务上取得了显著的效果。

Jul, 2022

本文系统全面地阐述了深度监督在神经网络学习系统中的理论和应用，并通过提出一种新的深度监督网络分类，探讨了当前计算机视觉应用中深度监督网络的优点和局限性。

Jul, 2022

本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

Jan, 2018

本文对于深度卷积神经网络的自监督技术进行了批判性的探讨，指出在使用强大的数据增强技术后，三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层，但是对于更深层的神经网络，即使使用了数百万张未标记的图像来进行训练，与手动监督的差距也无法弥补。该研究得出的结论是：（1）深度网络的早期层的权值包含的自然图像的统计信息非常有限，（2）这种低层次的统计信息可以通过自监督学习和强监督学习一样学习，（3）可以通过使用合成变换来捕获低层次的统计信息，而无需使用大量的图像数据集。

Apr, 2019

采用一层隐含层的浅层有监督神经网络，依次构建层级式深度网络，使用一些简单的架构和训练技巧，能够在 ImageNet 数据集上表现优于 AlexNet，并且建立 2 或 3 个隐含层的辅助问题，可构建超过 VGG 模型家族的 11 层网络，且训练精度能够达到端到端学习的水平。

Dec, 2018

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

本文提出了 Deeply-supervised Knowledge Synergy (DKS)，这是一种新方法，旨在改善 CNN 在图像分类任务中的泛化能力。通过在某些中间网络层的顶部附加辅助监督，以动态地学习分类器的概率知识来提高训练，应用了新的协同损失，同时考虑所有监督分支之间的成对知识匹配，证明了该模型在 ImageNet 分类基准测试中的表现更好。

Jun, 2019

通过给训练数据增加更多的图像变换、给测试时产生更多的预测和使用应用于更高分辨率图像的补充模型等多种技术，我们改进了目前基于深度卷积神经网络的图像分类流程，并在 Imagenet 大规模视觉识别挑战赛 2013 中获得了前五名，我们的系统分类错误率为 13.55％，相对于上一年的获胜者，出现了超过 20％的相对提高。

Dec, 2013

该研究提出了一种单一联合训练算法，能够有效地应用于语义图像分割任务，并在具有挑战性的 PASCAL VOC 2012 数据集上呈现鼓舞人心的结果。

Mar, 2015

本文提出一种基于贝叶斯网络结构学习的方法，用于无监督结构学习深度神经网络，通过生成图，构建其随机反向，然后构建一个判别图，证明生成图的潜变量之间的条件依赖关系在条件 “分类条件下” 丢失在判别图，从而实现通用网络深层（卷积和密集）的学习结构替代，在保持分类准确性的同时显著减少计算成本。

Jun, 2018