用于判别性和生成性连续学习的高效特征变换

CVPRMar, 2021

用于判别性和生成性连续学习的高效特征变换

Efficient Feature Transformations for Discriminative and Generative Continual Learning

Vinay Kumar Verma, Kevin J Liang, Nikhil Mehta, Piyush Rai, Lawrence Carin

TL;DR本文提出了一种称为 EFTs 的简单的任务特定特征映射转换策略，具有强大的灵活性，利用最小的参数增加了基本体系结构，使其在大规模场景下实用；我们还提出了一种特征距离最大化策略来完成类增量设置中的任务预测。通过在较广泛的一系列任务序列中的实验，包括区分性任务和生成任务，证明了该方法的实效性和效率。

Abstract

As neural networks are increasingly being applied to real-world applications, mechanisms to address distributional shift and sequential task learning without forgetting are critical. Methods incorporating network

neural networks continual learning task-specific feature map transformation efficient feature transformations sequential task learning

发现论文，激发创造

FeTT: 通过特征转换调整实现持续的类增量学习

本文提出了一种名为特征转换调优（FeTT）模型，它通过非参数化地对骨干特征进行微调，实现了对所有任务的独立操作，并且能够平滑特征通道以避免过度抑制，结合不同的预训练模型进一步改善性能，实验证明了我们提出方法的有效性。

May, 2024

参数高效微调：跨应用全面分析

评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

Apr, 2024

通过图对比预训练和多目标微调的无监督生成特征转换

特征转换是从原始特征中导出一个新的特征集，以增强数据的人工智能能力。本研究通过连接图形、对比和生成学习，开发了一种测量 - 预训练 - 微调模式，从而解决无监督特征转换学习的问题，并提出了特征值一致性保持的观点来评估特征集的效用，以及使用深度生成特征转换模型优化转换特征生成器。

May, 2024

高效扩展和基于梯度的任务推断，用于无回放增量学习

我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中展示了最先进的结果。

Dec, 2023

eTag: 基于嵌入蒸馏和任务导向生成的类增量学习

本研究提出了一种称为 eTag 的方法，通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，以解决 Class-Incremental Learning 中的遗忘问题，并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。

Apr, 2023

医学图像分析的参数高效微调：错过的机会

本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

May, 2023

等变换器网络

使用具有等变性函数的规范坐标系构建了一种不同 iable 的图像到图像映射，称为 ET（Equivariant Transformers），并证明了它能够在提高模型强健性方面进行灵活组合，从而使得在现实世界的图像分类任务中，相对于 ResNet 分类器，ET 能够在数据有限情况下提高最多 15% 的分类效果而只增加不到 1% 的模型参数。

Jan, 2019

CEAT：用于非示例类别增量学习的连续扩展和吸收变换器

通过延展融合层并与冻结先前参数并行，然后无损地将扩展参数吸收到主干网络中，以确保参数数量恒定，同时采用新型的原型对比损失减少特征空间中新旧类别的重叠，并提出一种生成伪特征以校正分类器的新方法。实验结果表明，在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 上，与之前的研究相比，我们的模型获得了显著的改进，分别提高了 5.38％、5.20％和 4.92％。

Mar, 2024

DyTox：使用动态令牌扩展的 Transformers 进行持续学习

提出了一种基于 Transformer 架构和共享编码器 / 解码器框架的策略，采用动态扩展特殊标记以使解码器网络适用于任务分布，从而在大数据集上取得优异结果，且不需要超参数调整。

Nov, 2021

FOSTER: 特征增强和压缩用于类增量学习

提出了一种新的双阶段学习范式 FOSTER，通过动态模块扩展和有效的蒸馏策略来解决深度神经网络遗忘问题，实现自适应学习新类别，实验证明该方法在 CIFAR-100 和 ImageNet-100/1000 数据集下达到了最先进的性能。

Apr, 2022