Apr, 2024

无监督连续学习中融合现在和过去

PDF
TL;DR我们提出了一种适用于无监督连续学习（UCL）的统一框架，该框架将实时数据和过去数据的特定学习目标区分开来，包括稳定性、可塑性和跨任务整合。我们的方法 Osiris 在分离的嵌入空间中明确优化这三个目标，并在所有基准测试中取得了最先进的性能，包括本文提出的两个具有语义结构化任务序列的新基准测试。与标准基准测试相比，这两个结构化基准更接近人类和动物在导航现实环境时接收到的视觉信号。最后，我们展示了一些初步的证据表明连续模型可以从这样的真实学习场景中受益。
发现论文，激发创造
  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 用于分析持续学习者的新度量标准

    在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

    Sep, 2023

  • 非先验条件下，野外未标记数据的持续学习

    基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

    Oct, 2023

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019

  • CUCL: 无监督连续学习的代码手册

    本研究主要关注无监督连续学习（Unsupervised Continual Learning，UCL），提出了一种名为 Codebook for Unsupervised Continual Learning（CUCL）的方法，通过注入多样性和处理灾难性遗忘来提升模型性能。

    Nov, 2023

  • 前瞻性选择性可塑性实现视觉任务的持续学习

    通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

    Nov, 2023

  • 利用模块化网络与任务驱动 先验知识实现高效连续学习

    本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

    Dec, 2020

  • 在连续学习中利用测试时间数据控制遗忘

    通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

    Jun, 2024

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024