EMNLPOct, 2022

SAT: 简单的实例自适应自训练提高半监督文本分类

PDF
TL;DR本文提出了一种简单的实例自适应自训练方法 (SAT)，用于半监督文本分类。SAT 通过生成两个扩充视图来识别伪标签并用于模型训练，实验结果表明 SAT 方法具有竞争力的性能。
self-training methodssemi-supervised learningtext classificationaugmented viewspseudo-label
发现论文，激发创造
  • 增强自训练方法

    本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

    Jan, 2023

  • 有限数据，无限潜力：ViT 与遮蔽自编码器增强的研究

    Vision Transformers (ViTs) 使用自我监督学习 (SSAT) 作为辅助任务与主任务同时进行联合优化，以在有限的数据量下取得更好的性能表现，此方法能帮助 ViTs 充分利用自我监督任务和主任务的独特特点，展现出优于传统的 ViTs 预训练与后续微调的效果，并在 10 个数据集的实验证明了 SSAT 的显著性提升并减少了碳足迹，同时在视频领域的 Deepfake 检测上也验证了其普遍适用性。

    Oct, 2023

  • SAT: 基于课程的损失平滑改进对抗训练

    本文提出了一种平滑对抗训练方法 (SAT)，它利用课程学习的思想对对抗训练过程进行平滑处理，提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡，具体方法基于海森矩阵的特征值以及 softmax 概率，实验结果显示该方法在 CIFAR-100 和 Imagenette 数据集上比 AT 方法显著提升了干净度与鲁棒度。

    Mar, 2020

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • STA: 自控文本增强提高文本分类

    介绍了一种自我控制的文本增强方法（Self-Controlled Text Augmentation - STA），该方法可以控制样本的语义内容，对比现有技术在多个数据集上实验表明 STA 的性能显著优于现有技术，并且生成的样本词汇多样性高，语义可靠。

    Feb, 2023

  • SCAT: 基于对抗训练的鲁棒自监督对比学习在文本分类中的应用

    本文提出了一种名为 SCAT 的自我监督对比式学习的新型框架，它可以在不要求已标记数据的情况下学习稳健的表示，并且可以增强现有预训练语言模型的稳健性。

    Jul, 2023

  • 增量自训练半监督学习

    本研究提出了增量自训练（IST）用于半监督学习，通过在模型稳定后处理决策边界附近的数据，优化分类器性能，并在五个数据集和两种基础模型上验证，取得了显著的识别准确率和学习速度的提升，超越了现有最先进方法三个具有挑战性的图像分类任务。

    Apr, 2024

  • ST++: 自助学习在半监督语义分割中的优化

    本文提出了一种基于自训练和数据增强的半监督语义分割模型，通过选择可靠的未标注图像优化模型的性能。

    Jun, 2021

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023

  • 通过退火自训练的 Sinkhorn 标签分配的半监督分类

    本文利用最优运输问题重新解释自训练标签分配过程，为标签分配提供了一个实用的退火策略，并允许通过灵活的上限约束来包含类比例的先前知识，这样可以在标准随机优化算法的内循环中使用这些分配问题的解决方案。该算法在 CIFAR-10、CIFAR-100 和 SVHN 数据集上比 FixMatch 等自训练算法更有效。

    Feb, 2021