Mar, 2024

CEAT：用于非示例类别增量学习的连续扩展和吸收变换器

PDF
TL;DR通过延展融合层并与冻结先前参数并行，然后无损地将扩展参数吸收到主干网络中，以确保参数数量恒定，同时采用新型的原型对比损失减少特征空间中新旧类别的重叠，并提出一种生成伪特征以校正分类器的新方法。实验结果表明，在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 上，与之前的研究相比，我们的模型获得了显著的改进，分别提高了 5.38％、5.20％和 4.92％。
发现论文，激发创造
  • TaE: 面向长尾类增量学习的任务感知可扩展表示

    通过采用动态网络算法和中心点增强方法，提出一种任务感知可扩展的框架（Task-aware Expandable，TaE），用于解决长尾类增量学习问题，并在 CIFAR-100 和 ImageNet100 数据集上进行实验证明其能取得最先进的性能。

    Feb, 2024

  • FeTT: 通过特征转换调整实现持续的类增量学习

    本文提出了一种名为特征转换调优（FeTT）模型，它通过非参数化地对骨干特征进行微调，实现了对所有任务的独立操作，并且能够平滑特征通道以避免过度抑制，结合不同的预训练模型进一步改善性能，实验证明了我们提出方法的有效性。

    May, 2024

  • 语义偏移增量适配器调整是一种持续的 ViTransformer

    提出了一种增量调整的方法，通过逐渐调整共享适配器的参数而不施加参数更新约束，提高骨干网络的学习能力，并使用存储的原型进行特征采样以重新训练统一分类器，进一步改进性能，实验结果验证了该方法的有效性。

    Mar, 2024

  • 参数高效的增量式学习的互补学习子网络

    本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

    Jun, 2023

  • 借助测试时间适应，在大型预训练模型时代重新思考类别增量学习

    针对类增量学习问题，我们提出了一种基于测试时间适应的方法（TTACIL），通过在每个测试实例上对预训练模型的层归一化参数进行微调，以学习任务特定特征，并将其重置为基本模型以保持稳定性，从而避免了遗忘，并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。

    Oct, 2023

  • 不需示例的连续 Transformer 与卷积

    该论文提出了一种称为 ConTraCon 的无样本增量学习方法，它利用了 Transformer 架构，通过使用卷积对 Transformer 的多头自注意力层的键、查询和值的权重进行重新加权，从而维护每个任务的低参数需求，并使用基于图像增强的信息熵任务识别方法在推理过程中预测任务，实验结果表明该方法优于竞争方法并需要更少的参数。

    Aug, 2023

  • 解决动态扩展架构下增量学习任务混淆问题

    通过使用多层知识蒸馏等技术，原有的动态扩展架构被改进，被称作任务相关增量学习（TCIL），以改善现有的一些问题，比如任务冲突和遗忘问题，在 CIFAR100 和 ImageNet100 数据集上，实验证明 TCIL 显著提高了准确性。

    Dec, 2022

  • 密集网络扩展用于类别增量学习

    提出了一种基于 Dense Network Expansion 和 Cross-Task Attention 机制的类别增量学习方法，实现了在保持旧数据特征空间的基础上，减缓网络和特征规模增长速率，解决了算法复杂度和准确率之间的 trade-off 问题。

    Mar, 2023

  • 用于判别性和生成性连续学习的高效特征变换

    本文提出了一种称为 EFTs 的简单的任务特定特征映射转换策略，具有强大的灵活性，利用最小的参数增加了基本体系结构，使其在大规模场景下实用；我们还提出了一种特征距离最大化策略来完成类增量设置中的任务预测。通过在较广泛的一系列任务序列中的实验，包括区分性任务和生成任务，证明了该方法的实效性和效率。

    Mar, 2021

  • eTag: 基于嵌入蒸馏和任务导向生成的类增量学习

    本研究提出了一种称为 eTag 的方法，通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，以解决 Class-Incremental Learning 中的遗忘问题，并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。

    Apr, 2023