Jan, 2022

半监督连续学习梯度预测

PDF
TL;DR论文探索了半监督持续学习方法，该方法能从标记数据中预测未标记数据的梯度，进而将未标记数据应用到有监督持续学习中。实验结果表明，未标记图像可以增强持续学习模型对未见数据的预测能力并显著缓解灾难性遗忘。
发现论文，激发创造
  • 基于伪标签的无监督连续学习

    本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

    Apr, 2021

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019

  • 超网络用于连续的半监督学习

    该研究提出了一种用于半监督连续学习的元一致性框架，该框架采用超网络来学习基础网络的半监督辅助分类器生成对抗网络的权重，并整合了超网络中连续任务的知识，以在新集合上进行测试。

    Oct, 2021

  • 在线半监督对比学习用于通用连续学习

    该研究提出了一种适用于部分标记数据的对比损失函数 SemiCon，并通过利用无标签数据流训练的基于记忆的方法来证明了其有效性。在 Split-CIFAR10 和 Split-CIFAR100 数据集上，与现有的半监督方法相比，我们的方法在可用很少的标签时效果更佳，只使用了 2.6％的标签和 10％的标签，就可以获得与最新的监督方法相似的结果。

    Jul, 2022

  • 半监督终身语言学习

    本文提出了一种基于无标签数据的半监督终身语言学习方法，通过构建任务特定模块和利用无标签数据，在多项语言任务上展现了其比竞争方法更为有效的学习效果，减轻了学习模型在连续任务学习中的 “灾难性遗忘” 问题。

    Nov, 2022

  • 自监督模型是持续学习者

    在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。

    Dec, 2021

  • 自我监督训练增强在线连续学习

    本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

    Mar, 2021

  • 通过对比插值一致性进行持续的半监督学习

    本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

    Aug, 2021

  • 当今的连续学习算法有多高效？

    本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。

    Mar, 2023