非先验条件下，野外未标记数据的持续学习

Oct, 2023

非先验条件下，野外未标记数据的持续学习

Prior-Free Continual Learning with Unlabeled Data in the Wild

Tao Zhuo, Zhiyong Cheng, Hehe Fan, Mohan Kankanhalli

TL;DR基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

Abstract

continual learning (CL) aims to incrementally update a trained model on new tasks without forgetting the acquired knowledge of old ones. Existing CL methods usually reduce forgetting with task priors, \ie using task identity or a subset of previously seen samples for model training. Ho

continual learning prior-free continual learning model regularization class-incremental scenarios forgetting mitigation

发现论文，激发创造

RanPAC：用于连续学习的随机投影和预训练模型

本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

Jul, 2023

利用模块化网络与任务驱动先验知识实现高效连续学习

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

基于伪标签的无监督连续学习

本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

Apr, 2021

学习一种进化的混合模型用于任务自由的连续学习

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

借助语言引导监督增强视觉持续学习

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

使用预训练模型的不断学习：调查

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

双重扰动的无任务持续学习

通过考虑未来样本和注入敌对扰动，我们提出了一种新的 TF-CL 框架，并通过在输入数据和决策过程中注入敌对扰动的方法实现了这一框架，通过采用记忆管理方案和学习率调度进一步提高性能。

Dec, 2023

无监督连续学习的表征连续性

该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

Oct, 2021

在连续学习中利用测试时间数据控制遗忘

通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

反思基于预训练模型的无需排练连续学习的现状

探索了 P-RFCL（基于参数高效微调的 RFCL）方法在强大性能背后的驱动因素，揭示了其与最新的首任务自适应研究以及先前的 CL 标准之间的关系，并推动标准 RFCL 技术（如 EWC 或 SI）的发展。

Jun, 2024