本文系统全面地阐述了深度监督在神经网络学习系统中的理论和应用，并通过提出一种新的深度监督网络分类，探讨了当前计算机视觉应用中深度监督网络的优点和局限性。

Jul, 2022

通过在训练过程中，在某些中间层之后添加辅助监督分支，形成深度监督结构，其训练更容易，且在 ImageNet 和较大的 MIT Places 数据集上获得更好的分类效果。

May, 2015

本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

Jan, 2018

本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。

Jul, 2017

本文提出了一种基于层的鉴别性学习方法来增强深度神经网络的鉴别能力，在多个层上引入多个分类器，使它们协同工作进行分类，通过对多个深度网络和基准数据集的实验，证明了该方法的有效性，并分析了该方法和经典条件随机场模型之间的关系。

Jul, 2016

本文介绍了几种新颖的深度学习训练技术，如广义模型无关课程学习方法和级联加和增强方法，它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性，而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。

Nov, 2022

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

通过结合多层和多尺度的特征，利用深度卷积神经网络来提高图像分类器的领域泛化能力，并提出了一种新颖的目标函数，使用对比学习的方法约束提取的特征在分布转移下保持不变，实验证明该方法在多个数据集上均表现出与之前方法相比更好的性能。

Aug, 2023

本文研究在有标记和无标记图像的情况下学习分类器的半监督图像识别问题。我们提出了 Deep Co-Training 方法，该方法基于 Co-Training 框架，并通过对抗样本促进视角差异性以防止多个深度神经网络之间的折叠。在 SVHN、CIFAR-10/100 和 ImageNet 数据集上进行测试，结果表明我们的方法大幅优于先前的最先进方法。

Mar, 2018

本文对于深度卷积神经网络的自监督技术进行了批判性的探讨，指出在使用强大的数据增强技术后，三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层，但是对于更深层的神经网络，即使使用了数百万张未标记的图像来进行训练，与手动监督的差距也无法弥补。该研究得出的结论是：（1）深度网络的早期层的权值包含的自然图像的统计信息非常有限，（2）这种低层次的统计信息可以通过自监督学习和强监督学习一样学习，（3）可以通过使用合成变换来捕获低层次的统计信息，而无需使用大量的图像数据集。

Apr, 2019