Aug, 2022

SCALE: 在线自监督终身学习无先验知识

PDF
TL;DR本文提出在不具备先前知识的情况下进行在线自我监督终身学习的问题设置，并提出了一种名为 Self-Supervised ContrAstive Lifelong LEarning without Prior Knowledge（SCALE）的解决方案，在非 iid 和单遍数据上具有出色的表现，实验结果显示其准确性优于最佳算法。
unsupervised lifelong learningonline self-supervised learningmemoryrepresentation learningnon-iid data
发现论文，激发创造
  • 自我监督训练增强在线连续学习

    本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

    Mar, 2021

  • 自监督视觉表示学习的扩展和基准测试

    本文探讨了自监督学习的可扩展性，并在大规模数据集上评估了两种流行的自监督学习方法，并发现当前自监督学习方法没有充分利用大规模数据，且无法学习到有效的高层语义表示。同时，介绍了 9 个不同数据集和任务的自监督学习基准测试，必要时开展可比较的评估设置，以实现具有意义的进展。

    May, 2019

  • 半监督终身语言学习

    本文提出了一种基于无标签数据的半监督终身语言学习方法，通过构建任务特定模块和利用无标签数据，在多项语言任务上展现了其比竞争方法更为有效的学习效果，减轻了学习模型在连续任务学习中的 “灾难性遗忘” 问题。

    Nov, 2022

  • 自监督模型是持续学习者

    在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。

    Dec, 2021

  • 连续自监督学习的挑战

    本文研究了自我监督学习在连续流数据中的应用及其效率，提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明，这些方法可以有效提高表示学习的精度和鲁棒性，在非平稳的语义分布下也不容易出现灾难性遗忘。

    Mar, 2022

  • 基于神经仿生无任务无监督在线学习的自维持映射模型

    持续学习中的难题是灾难性遗忘，特别是在人工神经网络（ANNs）等无监督架构中，我们提出了一种称为连续自组织映射（CSOM）的泛化模型来解决这一问题。CSOM 在低内存预算下实现在线无监督学习，在多个基准测试中获得了准确性提高近两倍以及用于自动类别增量学习设置的最新技术成果。

    Feb, 2024

  • 自监督学习对数据集失衡更具鲁棒性

    本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

    Oct, 2021

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 终身生成建模

    本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

    May, 2017

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019