查询无标签数据改进和增强类别增量学习

Jun, 2022

查询无标签数据改进和增强类别增量学习

Queried Unlabeled Data Improves and Robustifies Class-Incremental Learning

Tianlong Chen, Sijia Liu, Shiyu Chang, Lisa Amini, Zhangyang Wang

TL;DR本文提出一种称为 CIL-QUD 的 Class-incremental learning 模型，通过通过利用外部未标记的查询数据来解决保留过去已学类别信息和学习新增类别之间的困境，并采用学习不遗忘的正则化器和类平衡训练，建立了一个既能够维护过去已有类别的泛化能力又能够在新增任务到来时保持学习的模型，实现了稳健性的 CIL, RCIL-QUD，并在 CIFAR-10 和 CIFAR-100 上获得了好的实验效果。

Abstract

class-incremental learning (CIL) suffers from the notorious dilemma between learning newly added classes and preserving previously learned class knowledge. That catastrophic forgetting issue could be mitigated by storing historical data for replay, which yet would cause memory overhead

class-incremental learning continual learning learning-without-forgetting queried unlabeled data adversarial robustness

发现论文，激发创造

标签是否需要以提高对抗性鲁棒性？

研究表明，使用未标记的数据进行训练可以作为对于耐受对抗攻击模型的有竞争力的替代方法，具体而言是在简单的统计情况下，学习对抗鲁棒模型的样本复杂度与完全受监督的情况一致。此外，使用未标记数据的无监督对抗训练方法可以在 CIFAR-10 这样的标准数据集上，使得鲁棒准确性比仅仅使用 4K 监督样例有 21.7% 的提升，并且可以捕捉到相同数量标记样例的改进量中超过 95% 的部分。最后，使用来自未筛选的 8000 万张小图片数据集的额外未标记数据，在 CIFAR-10 上击败了当前已知最强的攻击，展示了我们的发现也适用于未筛选的现实情况，从而为提高对抗训练打开了新的途径。

May, 2019

抵御类增量学习中的不平衡遗忘

通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

Mar, 2024

基于标签生成的类增量学习

本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

Jun, 2023

具有动态查询的图像分割的持续学习

基于持续学习的图像分割方法，通过增量动态查询实现了概念解耦，克服了灾难性遗忘和背景漂移问题，同时在语义分割和实例分割任务上取得了最先进的性能。

Nov, 2023

无标签数据提高对抗鲁棒性

通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。

May, 2019

非先验条件下，野外未标记数据的持续学习

基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

Oct, 2023

利用野外非标记数据克服灾难性遗忘

本文介绍了一种通过利用大量外部未标记数据集来缓解深度神经网络遗忘现象的类增量学习方法，该方法在各种数据集上均显示出优越性能，尤其是在存在大规模未标记数据时更为显著

Mar, 2019

图像分类的内存高效类增量学习

本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

Aug, 2020

CUCL: 无监督连续学习的代码手册

本研究主要关注无监督连续学习（Unsupervised Continual Learning，UCL），提出了一种名为 Codebook for Unsupervised Continual Learning（CUCL）的方法，通过注入多样性和处理灾难性遗忘来提升模型性能。

Nov, 2023

eCIL-MU：基于嵌入的增量类学习和机器遗忘

本研究提出了一种基于嵌入技术的非破坏性 eCIL-MU 框架，用于在动态环境中实现类别增量学习和类别级机器遗忘。实验证明该框架能够实现遗忘效果，并具有加速效果（最高达到 278 倍）。

Jan, 2024