随机变换和扰动的正则化对深度半监督学习的提升

Jun, 2016

随机变换和扰动的正则化对深度半监督学习的提升

Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning

Mehdi Sajjadi, Mehran Javanmardi, Tolga Tasdizen

TL;DR本文探讨利用卷积神经网络进行半监督学习的问题，提出利用随机数据增强、dropout、随机最大池化等技术来提高分类器的鲁棒性及稳定性，并设计了一种利用多次前馈预测结果来减小随机性差异的无监督损失函数，并在多个基准数据集上进行验证。

Abstract

Effective convolutional neural networks are trained on large sets of labeled data. However, creating large labeled datasets is a very costly and time-consuming task. semi-supervised learning uses unlabeled data t

convolutional neural networks semi-supervised learning randomized data augmentation dropout unsupervised loss function

发现论文，激发创造

深度卷积神经网络的随机池化正则化

本文介绍一种基于随机过程和多项分布替代传统确定性池化操作的正则化卷积神经网络方法，并证明其能够与其他正则化方法相结合，如辍学和数据增强，实现更好的图像分类表现。

Jan, 2013

半监督深度学习的互斥损失

本文介绍了一种基于深度卷积神经网络的半监督学习方法，通过引入无监督的正则化项来指导决策边界落在不同数据类别的低密度区域，从而提升使用未标记数据的物体识别性能。

Jun, 2016

深度贝叶斯主动半监督学习

通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

Mar, 2018

深度半监督学习中的伪标记和确认偏差

提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

Aug, 2019

训练深度判别神经网络对抗标签噪声的鲁棒性

该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

基于风格迁移的图像合成作为深度学习中有效的正则化技术

本文探讨了深度学习在图像分析和分类方面的弱点，提出利用基于神经风格转换的数据增强方法以提高数据集的泛化能力，并通过应用于皮肤病分类案例验证了其潜力。

May, 2019

无监督标签噪声建模与损失修正

本文提出了一种使用 beta 混合模型作为无监督生成模型，实时估计样本被错误标记的概率的方法，并通过 bootstrapping loss 来校正模型。同时，作者还对 mixup 数据增强方法做了进一步优化，实验证明该方法具有比最近最先进的方法更强的标签噪声鲁棒性。

Apr, 2019

半监督学习的时间集成

本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

Oct, 2016

无标签数据有多种一致的解释：为什么您应该平均

研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

Jun, 2018

在线图构建的卷积神经网络半监督学习

本文提出了一种适用于深度卷积神经网络的在线构建图形的半监督学习算法，以利用未标记数据提高监督学习的泛化能力。与传统的半监督学习方法相比，我们的方法使用基于网格输出的动态构建图形来更新网络，获得更好的效果。

Nov, 2015