用虚拟对抗训练阶梯网络进行半监督学习
提出了一种基于虚拟对抗损失的正则化方法 - 一种关于条件标签分布的局部平滑度的新度量。虚拟对抗损失被定义为每个数据点周围条件标签分布对本地扰动的鲁棒性。我们的方法定义了无需标签信息的对抗方向,因此适用于半监督学习。在多个基准数据集上,通过熵最小化原理实现的 VAT 在半监督学习任务上实现了 SVHN 和 CIFAR-10 的最新性能。
Apr, 2017
本文提出了一种基于 KL 分歧的局部分布平滑正则方法,称作虚拟对抗训练,用于半监督学习中的神经网络,通过模型分布的稳健性来决定对抗方向,较低的计算成本使得该方法在 MNIST,SVHN 和 NORB 数据集上的性能超过了其他训练方法,除一个高级的生成模型外取得当前最佳表现。
Jul, 2015
本文提出了一种名为 LVAT 的新的规则化方法,将扰动注入潜在空间以生成理解性更强的对抗样本,并在图像分类任务的超视觉和半监督学习情景中使用 SVHN 和 CIFAR-10 数据集验证其性能,证明其优于其他现有方法及 VAT。
Nov, 2020
提出一种深度神经网络模型,通过反向传播同时最小化有监督和无监督代价函数的和,避免了逐层预训练的需要,结合 Ladder 网络和监督学习,实现半监督 MNIST 和 CIFAR-10 分类以及具有置换不变性的 MNIST 分类等诸多性能的最新结果。
Jul, 2015
本研究旨在开发一种新的计算机辅助诊断 (CAD) 方案,以利用半监督学习对乳腺 X-ray 图像进行良恶性分类,采用虚拟对抗培训方法,提高模型的鲁棒性和分类准确性。
Jan, 2022
本文提出了一种 GCN 半监督学习的虚拟对抗训练方法,并通过 GCN Sparse VAT(GCNSVAT)和 GCN Dense VAT(GCNDVAT)算法在标记和未标记数据上进行优化,提高其泛化性能。该方法在 GCN 的 Symmetrical Laplacian Smoothness 上取得了改进,并通过大量实验证实了我们方法的有效性。
Feb, 2019
该论文提出了一种基于上下文的虚拟对抗训练方法,通过在上下文级别执行对抗性训练来防止文本分类器过度拟合噪声标签,实验证明该方法对于处理噪声标签非常有效。
May, 2022
介绍了一种针对半监督学习的简单,快速,易于调整的算法 Negative Sampling in Semi-Supervised Learning(NS3L),该算法通过向现有的 SSL 算法 (如 Virtual Adversarial Training 和 MixMatch) 中添加 NS3L 损失函数,能够更好地提高模型性能和准确度,并在 CIFAR10,CIFAR100,SVHN 和 STL10 等基准数据集上得到验证。
Nov, 2019
本文提出了一个 semi-supervised learning (SSl) 的新方法:Mixture of Expert/Imitator Networks,该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布,从而提高 text classification 任务的性能,实验结果表明该方法可适用于多种深度神经网络模型,并且性能随未标记数据的增加而提高。
Oct, 2018
本文针对半监督学习问题,提出了一种基于流形的切平面与法线平面对抗正则化方法,称作 TNAR。该方法通过在数据流形的切向空间和法向空间上应用虚拟对抗性训练,实现对分类器局部不变性及鲁棒性的提升,在人工和实际数据集测试中取得了优于其他最先进方法的成果。
Aug, 2018