本文针对卷积神经网络在物体识别方面的表现进行研究，探讨了无监督预训练在近期发展中是否仍具有重要的作用，并通过实验证实了无监督预训练对于样本中无监督数量比例较高时的效益，而当比例较低时不如数据增强、抑制过拟合等技术，此外文中还提到了色彩增强等方式更接近于先前最先进方法的表现。

Dec, 2014

本论文研究了只有少量标记数据可用时，正则化方法对各种分类模型的影响。研究比较了基于词嵌入的简单模型与复杂模型（CNN 和 BiLSTM），在有监督学习中，对抗训练可以进一步正则化模型。在有无标记的数据集时，可以使用半监督学习方法和虚拟对抗训练等方法来正则化模型。通过在四个文本分类数据集上评估正则化效果（AG 新闻、DBpedia、Yahoo! Answers、Yelp 极性），只使用原始标记训练文档的 0.1% 到 0.5% 进行实验。简单模型在完全监督学习中表现相对较好，但在对抗训练和半监督学习的帮助下，无论是简单模型还是复杂模型都能够得到正则化，复杂模型表现更好。虽然简单模型对过拟合有较强的鲁棒性，但一个具有良好先验信念的复杂模型也能够对过拟合有较强的鲁棒性。

Feb, 2024

本文介绍了一种基于自监督正则化的半监督学习方法，其中利用了大量未标记数据来提高模型的性能，并且可以有效地应用于图像分类任务中，不需要任何补充的超参数进行调整。实验结果表明，该方法优于传统的监督和半监督学习方法。

Jun, 2019

本文探讨利用卷积神经网络进行半监督学习的问题，提出利用随机数据增强、dropout、随机最大池化等技术来提高分类器的鲁棒性及稳定性，并设计了一种利用多次前馈预测结果来减小随机性差异的无监督损失函数，并在多个基准数据集上进行验证。

Jun, 2016

本文研究表明，使用大规模数据集训练的网络之所以具有良好的泛化能力，并非仅仅因为有众多的训练示例，还因为类别的多样性鼓励了富有表现力特征的学习。当数据匮乏时，使用额外的标签进行学习是否仍然具有优势？本文针对乳腺 X 光图像中的肿瘤分割任务展开研究。我们发现，在低数据设置下，通过将专家注释与非专家注释者提供的看似无关乎的标签相结合，将任务变为多分类问题，可以提高性能。我们揭示了这些增益在专家数据较少时增加的情况，并通过进一步的研究揭示了几个有趣的属性。我们在 CSAW-S 上证明了我们的发现，并在两个公共数据集上进行了确认。

Jul, 2020

通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。

May, 2019

研究表明，使用未标记的数据进行训练可以作为对于耐受对抗攻击模型的有竞争力的替代方法，具体而言是在简单的统计情况下，学习对抗鲁棒模型的样本复杂度与完全受监督的情况一致。此外，使用未标记数据的无监督对抗训练方法可以在 CIFAR-10 这样的标准数据集上，使得鲁棒准确性比仅仅使用 4K 监督样例有 21.7% 的提升，并且可以捕捉到相同数量标记样例的改进量中超过 95% 的部分。最后，使用来自未筛选的 8000 万张小图片数据集的额外未标记数据，在 CIFAR-10 上击败了当前已知最强的攻击，展示了我们的发现也适用于未筛选的现实情况，从而为提高对抗训练打开了新的途径。

May, 2019

我们提出了一种无监督的贝叶斯训练方法，用于学习具有固定噪声数据集的凸神经网络正则化器，基于双马尔可夫链估计方法。与经典的有监督对抗性正则化方法相比，我们在自然图像高斯去卷积和泊松降噪任务上展示了接近的性能。

Apr, 2024

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018

提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

Aug, 2019