May, 2022

基于上下文的虚拟对抗训练在带噪标签的文本分类中的应用

PDF
TL;DR该论文提出了一种基于上下文的虚拟对抗训练方法，通过在上下文级别执行对抗性训练来防止文本分类器过度拟合噪声标签，实验证明该方法对于处理噪声标签非常有效。
deep neural networksvirtual adversarial trainingsemi-supervised learningnoisy labelstext classification
发现论文，激发创造
  • 基于视觉解释的自我改进分类系统：使用虚拟对抗训练

    通过将虚拟对抗训练（VAT）与 BERT 模型结合，提出了一种基于视觉解释的自我改进的分类模型，用于解决使用 BERT 构建的分类系统存在的解释困难和鲁棒性低的问题。实验结果表明该模型在 Twitter 的推文数据集上对分类任务具有显著有效性。

    Sep, 2023

  • 节点分类中基于图卷积网络的虚拟对抗训练

    本文提出了一种 GCN 半监督学习的虚拟对抗训练方法，并通过 GCN Sparse VAT（GCNSVAT）和 GCN Dense VAT（GCNDVAT）算法在标记和未标记数据上进行优化，提高其泛化性能。该方法在 GCN 的 Symmetrical Laplacian Smoothness 上取得了改进，并通过大量实验证实了我们方法的有效性。

    Feb, 2019

  • 虚拟对抗训练：一种用于监督学习和半监督学习的正则方法

    提出了一种基于虚拟对抗损失的正则化方法 - 一种关于条件标签分布的局部平滑度的新度量。虚拟对抗损失被定义为每个数据点周围条件标签分布对本地扰动的鲁棒性。我们的方法定义了无需标签信息的对抗方向，因此适用于半监督学习。在多个基准数据集上，通过熵最小化原理实现的 VAT 在半监督学习任务上实现了 SVHN 和 CIFAR-10 的最新性能。

    Apr, 2017

  • 图卷积网络批量虚拟对抗训练

    本文基于 graph convolutional networks (GCNs) 提出了 batch virtual adversarial training (BVAT) 的正则化方法，并验证了其在半监督节点分类任务中较好的效果。

    Feb, 2019

  • 用于半监督乳腺肿块分类的虚拟对抗训练

    本研究旨在开发一种新的计算机辅助诊断 (CAD) 方案，以利用半监督学习对乳腺 X-ray 图像进行良恶性分类，采用虚拟对抗培训方法，提高模型的鲁棒性和分类准确性。

    Jan, 2022

  • 使用潜空间虚拟对抗训练进行正则化

    本文提出了一种名为 LVAT 的新的规则化方法，将扰动注入潜在空间以生成理解性更强的对抗样本，并在图像分类任务的超视觉和半监督学习情景中使用 SVHN 和 CIFAR-10 数据集验证其性能，证明其优于其他现有方法及 VAT。

    Nov, 2020

  • 用虚拟对抗训练阶梯网络进行半监督学习

    基于分布平滑的半监督深度学习方法和梯度升级生成虚拟对抗训练方法被提出用于降低数据标签的高成本，两种方法被成功整合实现了接近监督准确度。

    Nov, 2017

  • TAVAT: 基于 Token 的虚拟对抗训练用于语言理解

    本文提出了一种基于标记的虚拟对抗训练方法，该方法在 NLP 任务中引入了生成嵌入空间中扰动的虚拟对抗训练，并使用标记级别的规范化球适当限制这些扰动，实验表明，该方法显著提高了 BERT 和 ALBERT 等预训练模型在多个任务中的性能。

    Apr, 2020

  • 半监督文本分类的对抗训练方法

    本文介绍了在文本领域将反对训练和虚拟反对训练应用于使用递归神经网络中的单词嵌入，并在多个基准半监督和纯监督任务上实现了最先进结果。

    May, 2016

  • DNN 文本分类的有效标签噪声模型

    本文提出了一种训练深度网络抵抗标签噪声的方法，通过引入非线性处理层（噪声模型）来将标签噪声的统计模型化到卷积神经网络中，通过实验证明这种方法使得 CNN 可以学习到更好的句子表示，即使在极端的标签噪声情况下仍然很稳健。同时，本文发现正确的噪声模型初始化和正则化对训练结果至关重要，而和图像分类不同的是，改变 batch size 并不会对分类性能有明显影响。

    Mar, 2019