CUCL: 无监督连续学习的代码手册

MMNov, 2023

CUCL: Codebook for Unsupervised Continual Learning

Chen Cheng, Jingkuan Song, Xiaosu Zhu, Junchen Zhu, Lianli Gao...

TL;DR本研究主要关注无监督连续学习（Unsupervised Continual Learning，UCL），提出了一种名为 Codebook for Unsupervised Continual Learning（CUCL）的方法，通过注入多样性和处理灾难性遗忘来提升模型性能。

Abstract

The focus of this study is on unsupervised continual learning (UCL), as it presents an alternative to Supervised Continual Learning which needs high-quality manual labeled data. The experiments under the UCL paradigm indicate a phenomenon where the results on the first few tasks are su

unsupervised continual learning codebook discriminative features cifar100 catastrophic forgetting

发现论文，激发创造

无监督连续学习的表征连续性

该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

Oct, 2021

具备理论保证的强健对比学习

通过开发严密的理论来剖析和确定无监督损失中能够帮助改善鲁棒监督损失的成分，并进行适当实验证实我们的发现。

Nov, 2023

用对比学习支持聚类

该论文提出了 SCCL 框架，使用对比学习来帮助无监督聚类，有效提升类别间距离，进而在短文本聚类中达到更好的结果。研究表明，SCCL 能够显著提高精度和归一化互信息，同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。

Mar, 2021

自适应正则化的基于不确定性的永续学习

本文介绍了一种新的基于神经网络的连续学习算法 UCL，该算法通过引入新的 Kullback-Leibler 散度项解决了正则化方法的两个主要问题，并在监督学习任务和强化学习任务中表现出超过最新技术的优异性能。

May, 2019

基于伪标签的无监督连续学习

本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

Apr, 2021

CDUL 的可重现性研究：基于 CLIP 的无监督学习在多标签图像分类中的应用

复现了论文中提到的 CDUL 方法，验证了使用 CLIP 模型初始化伪标签和梯度对齐训练方法在无监督多标签图像分类任务中的有效性。

May, 2024

前向 - 后向知识蒸馏的持续聚类

在无监督连续聚类（UCC）中，引入了前向 - 后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。

May, 2024

借助语言引导监督增强视觉持续学习

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

UniCL：大型时间序列模型的通用对比学习框架

UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。

May, 2024

图像 - 文本 - 标签空间统一的对比学习

该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

Apr, 2022