基于标签生成的类增量学习

ACLJun, 2023

Class-Incremental Learning based on Label Generation

Yijia Shao, Yiduo Guo, Dongyan Zhao, Bing Liu

TL;DR本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

Abstract

Despite the great success of pre-trained language models, it is still a challenge to use these models for continual learning, especially for the

pre-trained language models continual learning class-incremental learning catastrophic forgetting vag

发现论文，激发创造

视觉语言模型的无遗忘学习

我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。

May, 2023

无数据生成回放的双教师班级增量学习

本文提出两种用于类增量学习的新型知识传输技术：无数据生成式回放（DF-GR）和双教师信息蒸馏（DT-ID），并在 CIFAR-100 和 ImageNet 数据集上表现出性能提升。

Jun, 2021

借助语言引导监督增强视觉持续学习

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

强预训练模型实现类别增量学习

在大规模的 ImageNet 数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了 10%。

Apr, 2022

生成多模态模型在类增量学习中表现优秀

我们提出了一种适用于类增量学习的新型生成多模态模型（GMM）框架，通过适应的生成模型直接生成图像的标签，利用文本编码器提取文本特征并使用特征匹配确定最相似的标签作为分类预测结果，在常规类增量学习任务和少样本类增量学习任务中，我们相比目前最先进的方法有了显着的改善。

Mar, 2024

学习还是回忆？再探基于预训练语言模型的增量学习

在自然语言处理领域中，基于预训练语言模型的增量学习的研究表明，现有的方法普遍低估了预训练语言模型天生的抗遗忘能力，研究者提出了一种名为 SEQ * 的简单方法，它在各项度量上与最先进的增量学习方法具有竞争力或更好的表现，并且需要较少的可训练参数和训练时间。

Dec, 2023

eTag: 基于嵌入蒸馏和任务导向生成的类增量学习

本研究提出了一种称为 eTag 的方法，通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，以解决 Class-Incremental Learning 中的遗忘问题，并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。

Apr, 2023

基于生成分类器的类别增量学习

通过生成式分类方法来实现增量学习，利用变分自编码器进行实现，在多项延续学习基准测试中表现优异。

Apr, 2021

多变量原型表示的领域泛化增量学习

研究了深度学习模型在使用新类别样本进行微调时面临的灾难性遗忘问题，特别关注训练和测试数据之间的领域转变。设计了一种能够记忆旧类别、适应新类别并能够可靠地对来自未见领域的对象进行分类的 DGCIL 方法，通过使用知识蒸馏和估计旧类别原型的漂移，结合多变量正态分布，不断适应模型特征的变化以更好地表示旧类别。经过多个基准测试实验证实了我们的说法。

Sep, 2023

CLoG: 图像生成模型的持续学习基准测试

在人工智能中，持续学习（Continual Learning）是一个重要的挑战，旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习（CLoG）。研究通过对比传统的基于分类任务的持续学习，系统性地识别了 CLoG 所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法，并提出了广泛任务覆盖和多样性的 CLoG 基准。通过基准测试和结果分析，揭示了有价值的见解，对未来的 CLoG 方法的开发具有重要意义。此外，作者还公开了一个代码库，旨在促进 CLoG 的基准测试和实验，从而在终身学习范 paradigma 内为下一代 AI 生成内容（AIGC）开辟新的道路。

Jun, 2024