本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

Jun, 2020

本研究考虑借助大规模相似性图来进行大规模图像标注，在少量样本标注的情况下实现低样本学习低的准确率。研究发现，尽管其概念上很简单，但将标签传播扩展到亿万级别的图像可以实现低样本学习方法的最新准确性

Jun, 2017

本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

Nov, 2017

本文研究如何利用半监督学习技术解决深度紧凑架构在生物医学图像分类中的问题。使用三个紧凑网络家族和两个半监督学习技术家族来比较不同方法在 10 个生物医学任务中的性能，最终结合数据蒸馏和 MixNet 及 ResNet-18 等取得最佳结果，并为此开发了一个简化紧凑模型构建的库。

May, 2022

该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

Aug, 2018

通过课程式策略和回归网络，基于不等式约束的半监督 CNN 分割技术在磁共振图像左心室分割方面的应用上，使用未标记的数据更高效地实现了分割网络，与标准的基于建议的半监督策略相比有着很有竞争力的结果，接近全监督的性能水平。

Apr, 2019

本文提出了一种基于半监督学习、一次性学习和类平衡的方法，通过精心选择类原型并改进模型结构，使得无需大量标注数据进行训练的深度神经网络可以达到与全监督学习相当的测试准确性。同时，本文通过严谨的实证评估证明了标注大规模数据不是训练深度神经网络的必要条件。

Jun, 2020

本篇文章研究了半监督深度学习的最新方法，重点是针对标记和未标记数据集之间分布差异的情况设计的半监督深度学习模型，致力于解决传统深度学习流水线在实际使用环境下对数据的高需求，并希望鼓励社区应对该方面的挑战。

Mar, 2022

本研究提出了一种名为 ScaleNet 的简单高效的无监督表示学习方法，通过使用多尺度图像来增强有限信息条件下卷积神经网络 (ConvNets) 的性能，并展示了 ScaleNet 方法在旋转预测任务上的优越性及其对其他模型的分类任务的改进能力。

Oct, 2023

本文综述了深度半监督学习的概念及其在深度神经网络上的应用，以期实现更高的数据效率。

Jun, 2020