IJCAIApr, 2021

基于伪标签的无监督连续学习

PDF
TL;DR本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。
continual learningunsupervised learningpseudo labelingglobal clusteringimage classification
发现论文，激发创造
  • 半监督连续学习梯度预测

    论文探索了半监督持续学习方法，该方法能从标记数据中预测未标记数据的梯度，进而将未标记数据应用到有监督持续学习中。实验结果表明，未标记图像可以增强持续学习模型对未见数据的预测能力并显著缓解灾难性遗忘。

    Jan, 2022

  • 课程标记：重新审视半监督学习中的伪标记

    本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。

    Jan, 2020

  • 自我监督训练增强在线连续学习

    本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

    Mar, 2021

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019

  • 非先验条件下，野外未标记数据的持续学习

    基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

    Oct, 2023

  • 图像标签语义分割的增量学习

    该论文提出了一种新的语义分割框架，采用弱增量学习，使用辅助分类器和软标签更新模型，从图像级别标签中学习新类别的分割，可有效减少由像素逐像素标注带来的时间和经济成本。

    Dec, 2021

  • 超网络用于连续的半监督学习

    该研究提出了一种用于半监督连续学习的元一致性框架，该框架采用超网络来学习基础网络的半监督辅助分类器生成对抗网络的权重，并整合了超网络中连续任务的知识，以在新集合上进行测试。

    Oct, 2021

  • 医疗领域的多标签持续学习：一项新的基准

    医学成像的分类问题具有新类别和域偏移的挑战，本文提出了一种名为伪标签重播的新方法，通过结合重播和伪标签方法的优势以解决现有的限制，有效地应对挑战并展现卓越性能和最小的遗忘。

    Apr, 2024

  • 深度半监督学习中的伪标记和确认偏差

    提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

    Aug, 2019