May, 2024

U-TELL：非监督式任务专家终身学习

PDF
TL;DR提出了一种名为 U-TELL 的无监督连续学习（Continual learning）模型，该模型使用任务专家，通过训练生成的结构化样本进行任务分配，以解决由于有限标签信息导致的灾难性遗忘问题。
continual learningcatastrophic forgettingunsupervisedtask expertsstructured data generator
发现论文，激发创造
  • CLUTR: 通过无监督任务表示学习进行课程学习

    介绍了 CLUTR：一种新型的无监督课程学习算法，通过将任务表示和课程学习分解成两个阶段的优化，成功地克服了任务分布不稳定性的问题，提高了稳定性，并在 CarRacing 和 Navigation 等环境中实现了具有挑战性的零 - shot 推广。

    Oct, 2022

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 低维混合专家模型在医学图像分割中的应用

    在医学图像分割领域的持续学习任务中，我们提出了一种使用数据特定的专家组（MoE）结构解决新任务或类别的问题的网络，以确保网络参数对先前任务的影响最小化，并通过引入低秩策略显著降低引入附加结构所带来的内存开销。在多个数据集上进行的广泛实验证明了我们的模型优于其他所有方法。

    Jun, 2024

  • 半监督终身语言学习

    本文提出了一种基于无标签数据的半监督终身语言学习方法，通过构建任务特定模块和利用无标签数据，在多项语言任务上展现了其比竞争方法更为有效的学习效果，减轻了学习模型在连续任务学习中的 “灾难性遗忘” 问题。

    Nov, 2022

  • 编排潜在专业知识：通过多级监督和反向自蒸馏推进在线持续学习

    在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法，通过多层监督和反向自蒸馏，培养模型为堆叠子专家，以实现学习新样本和保留过去知识的显著效果，大大提升 OCL 性能。

    Mar, 2024

  • 基于编码器的终身学习

    该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

    Apr, 2017

  • 自适应深度聚类无监督迭代学习方法

    本文提出了一个名为 KIERA 的无监督连续学习方法，采用灵活的深度聚类方法来处理不断变化的环境，并提出基于质心的经验回放方法来克服灾难性遗忘的问题。实验结果表明，与现有方法相比，KIERA 具有高度的竞争性能。

    Jun, 2021

  • 专家门：基于网络专家的终身学习

    本文介绍了一种基于 Expert 网络的终身学习模型，引入了一组门控自编码器在测试时将样本自动转发到相关专家，从而具有内在的内存效率和任务相关性。并使用图像分类和视频预测问题进行了实验评估。

    Nov, 2016

  • CUCL: 无监督连续学习的代码手册

    本研究主要关注无监督连续学习（Unsupervised Continual Learning，UCL），提出了一种名为 Codebook for Unsupervised Continual Learning（CUCL）的方法，通过注入多样性和处理灾难性遗忘来提升模型性能。

    Nov, 2023

  • 持续学习自然语言新任务中预防灾难性遗忘

    该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

    Feb, 2023