增量自训练半监督学习

Apr, 2024

Incremental Self-training for Semi-supervised Learning

Jifeng Guo, Zhulin Liu, Tong Zhang, C. L. Philip Chen

TL;DR本研究提出了增量自训练（IST）用于半监督学习，通过在模型稳定后处理决策边界附近的数据，优化分类器性能，并在五个数据集和两种基础模型上验证，取得了显著的识别准确率和学习速度的提升，超越了现有最先进方法三个具有挑战性的图像分类任务。

Abstract

semi-supervised learning provides a solution to reduce the dependency of machine learning on labeled data. As one of the efficient semi-supervised techniques, self-training (ST) has received increasing attention.

semi-supervised learning self-training incremental self-training unlabeled data high time consumption

发现论文，激发创造

增强自训练方法

本文介绍了多种改进的方法以减轻自我训练管道中的确认偏差，评估了这些改进在多个数据集上的表现，证明在现有的自我训练设计选择上实现了性能增益，并研究了增强方法对未知类别的 Open Set 无标签数据的扩展性。

Jan, 2023

ST++: 自助学习在半监督语义分割中的优化

本文提出了一种基于自训练和数据增强的半监督语义分割模型，通过选择可靠的未标注图像优化模型的性能。

Jun, 2021

去偏自我训练用于半监督学习

在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

Feb, 2022

自学习：一项调查

本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

Feb, 2022

双重稳健自学习

本研究介绍了一种名为双重稳健自训练的算法，利用未标记的数据生成伪标签，与少量的标记数据相结合进行训练，以解决半监督学习问题。经实验证明，该算法优于标准的自训练基线，且在 ImageNet 数据集上表现出色。

Jun, 2023

半监督地标检测中的自训练再思考：一种无选择的方法

自我训练（self-training）方法在处理确认偏倚问题上具有重要作用，但在地标检测领域应用时面临着自适应选择伪标签、确定样本选择阈值和选择自训练的困难等问题。为了解决这些问题，本文提出了自我训练地标检测（STLD）方法，使用任务学习计划代替显式伪标签选择，从而达到从有信心到无信心任务逐步迁移的目的，并通过伪预训练和收缩回归两个重要组成部分实现，实验证明 STLD 在半监督和全监督设置下均优于现有方法。

Apr, 2024

神经序列生成的自训练再探

本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

Sep, 2019

利用自我预训练的半监督文本分类

该研究提出了一种名为 Self-Pretraining 的神经半监督学习模型，该模型可以无阈值地更新先前标记的文档的信念，并且可以处理语义漂移问题，使用迭代蒸馏过程，跨迭代传输假设，利用两阶段训练模型，使用高效的学习率调度和使用伪标签转换启发式方法。

Sep, 2021

自我训练学习用于半监督少样本分类

本文提出了一种新颖的半监督元学习方法，称为学习自我训练（LST），通过使用无标签数据和元学习来自动加标和改进模型，取得了在 ImageNet 数据库上半监督 few-shot 分类领域中最新方法无法超越的良好分类效果。

Jun, 2019

自监督活动表示学习与增量数据：一项实证研究

研究利用自监督学习扩展传统监督模型，以应对移动感知环境中许多传感器持续产生的大量数据和标注数据不足的挑战，通过一个未标注的时间序列数据集来抽取特征并预测带有标签的数据，研究结果表明在四种公共数据集上对于不同类型的传感器和应用，选择不同大小及来源的未标注数据会对最终的分类预测性能产生影响。

May, 2023