CVPROct, 2020

适应性聚合网络用于类别增量学习

PDF
TL;DR提出一种名为自适应聚合网络的新型网络结构，通过构建稳定块和可塑性块，通过聚合两个块的输出特征图平衡稳定性和可塑性，并通过动态调整聚合权重来解决类增量学习中老类和新类之间的稳定性和可塑性问题。在 CIFAR-100、ImageNet-Subset 和 ImageNet 三个 CIL 基准上进行的广泛实验表明，许多现有的 CIL 方法可以直接集成到 AANets 的架构中以提高其性能。
class-incremental learningstability-plasticity dilemmaadaptive aggregation networksresidual blockscil benchmarks
发现论文，激发创造
  • 利用神经元单元动力学进行高效和可扩展的类增量学习

    基于神经元动力学调整的自激活模型，用于训练模型从非稳态数据流中学习新类别而不忘记旧类别，通过引入监督机制来指导网络扩展，使其在推理时自动激活所需的神经元单元以检索知识，从而在不同的背景下实现强大的增量学习性能。

    Jun, 2024

  • 参数高效的增量式学习的互补学习子网络

    本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

    Jun, 2023

  • 强预训练模型实现类别增量学习

    在大规模的 ImageNet 数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了 10%。

    Apr, 2022

  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • 通过数据集和训练精化实现更公平的基于类别的增量学习

    本文提出了一个名为 CILIATE 的新框架，用于修复迭代学习（IL）中存在的数据集偏差和算法偏差问题，并在三个流行数据集上通过独特重要样本的识别和强制学习提高 iCaRL、BiC 和 WA 等方法的性能。

    Apr, 2023

  • 面向类增量学习的在线超参数优化

    该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

    Jan, 2023

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023

  • 密集网络扩展用于类别增量学习

    提出了一种基于 Dense Network Expansion 和 Cross-Task Attention 机制的类别增量学习方法，实现了在保持旧数据特征空间的基础上，减缓网络和特征规模增长速率，解决了算法复杂度和准确率之间的 trade-off 问题。

    Mar, 2023

  • 梯度重新加权：朝着不平衡分类增量学习的方向

    Class-Incremental Learning faces a dual imbalance problem, which results in skewed gradient updates, catastrophic forgetting, and imbalanced forgetting, but these issues can be addressed using reweighting techniques and a distribution-aware knowledge distillation loss, leading to consistent improvements in performance.

    Feb, 2024

  • 高效推理的分辨率自适应网络

    本论文提出一种新颖的分辨率自适应网络（RANet），通过利用输入样本的空间冗余性，有效地降低了深度网络的计算成本，同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。

    Mar, 2020