Jan, 2023

增强自训练方法

PDF
TL;DR本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。
semi-supervised learningself-trainingconfirmation biaspseudo-labelsopen set unlabeled data
发现论文，激发创造
  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • 增量自训练半监督学习

    本研究提出了增量自训练（IST）用于半监督学习，通过在模型稳定后处理决策边界附近的数据，优化分类器性能，并在五个数据集和两种基础模型上验证，取得了显著的识别准确率和学习速度的提升，超越了现有最先进方法三个具有挑战性的图像分类任务。

    Apr, 2024

  • 双重稳健自学习

    本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

    Jun, 2023

  • 神经序列生成的自训练再探

    本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

    Sep, 2019

  • 自我训练提升自然语言理解的预训练

    本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

    Oct, 2020

  • 自训练方式提升语义分割

    本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

    Apr, 2020

  • 小标记和大无标记集合下的神经网络抵抗（以及支持）自训练：分类

    我们提出了一种基于神经网络的半监督文本分类器，利用自训练的正负属性。为了解决自训练中的语义漂移问题，我们重新定义了伪标签的角色并构建了一个层次化的信息结构。此外，我们还提出了一种混合度量方法来代替简单的置信度测量，以克服神经网络输出的欠校准问题。我们在五个标准基准测试中评估我们的模型，并表明它明显优于十个多样化的基准模型。同时，我们展示了我们的模型对于语言模型预训练的改进具有附加性。

    Dec, 2023

  • 去偏自我训练用于半监督学习

    在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

    Feb, 2022

  • 利用自我预训练的半监督文本分类

    该研究提出了一种名为 Self-Pretraining 的神经半监督学习模型，该模型可以无阈值地更新先前标记的文档的信念，并且可以处理语义漂移问题，使用迭代蒸馏过程，跨迭代传输假设，利用两阶段训练模型，使用高效的学习率调度和使用伪标签转换启发式方法。

    Sep, 2021

  • 面向少标签文本分类的不确定性自训练

    本文提出了一种基于贝叶斯深度学习的半监督学习方法，通过利用大规模未标记数据集，以文本分类为应用场景，仅使用 20-30 个样本能够训练出预训练语言模型的近似精度，相较于基线提高 12% 以上。

    Jun, 2020