Sep, 2023

利用类别分布的异质性在免范例持续学习中进行优化

HTML
PDF
TL;DR无先例的课程增量学习中，使用冻结的特征提取器基于欧氏距离生成类原型并进行分类，然而，欧氏距离在非静态数据学习时表现亚优，特征分布异质。为了解决这个挑战，我们重新考虑适用于课程增量学习的各向异性马氏距离，并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法，且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是，在不更新主干网络的情况下，我们的方法在多个标准连续学习基准上取得了最先进的结果。
发现论文，激发创造
  • 模拟神谕：一种用于类别增量学习的初始相位去相关方法

    本研究提出了一种新的CIL学习方法，称为CwD，其中通过有效地规范每个类的表示来使其更均匀地分散，从而提高了现有最先进方法的性能约1％至3％。

    Dec, 2021

  • 强预训练模型实现类别增量学习

    在大规模的ImageNet数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了10%。

    Apr, 2022

  • FeTrIL: 无模板增量学习特征翻译

    介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

    Nov, 2022

  • eTag: 基于嵌入蒸馏和任务导向生成的类增量学习

    本研究提出了一种称为 eTag 的方法，通过嵌入蒸馏和面向任务的生成，无需存储样本或原型即可增量训练神经网络，以解决 Class-Incremental Learning 中的遗忘问题，并在 CIFAR-100 和 ImageNet-sub 数据集上获得了显著优于现有方法的结果。

    Apr, 2023

  • 团队合作并非总是良好的：一个分类器漂移的实证研究在类别增量化信息提取中

    本文提出个体分类器与冻结特征提取器（ICE）框架及其三个变体，旨在缓解分类器漂移，以无存储旧类别样本的情况下，连续从数据流中学习新类别。在6个分类增量信息提取任务上的实验结果表明，与现有最先进方法相比，我们的解决方案（尤其是ICE-O）始终表现出显著的改进，提供了强有力的基线和未来研究的启示。

    May, 2023

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而CIL算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023

  • 旋转增强蒸馏的免样例类增量学习与详细分析

    本研究关注在没有保存旧类样本（无样例）的无样例设置下，通过只对新类进行监督，实现在深层特征学习中平衡可塑性和稳定性。通过对不同方法的详细对比及指标衡量，提出了一种简单的无样例设置下的 Class incremental learning 方法，即 Rotation Augmented Distillation (RAD)，其表现接近顶级水平。此外，在更具挑战性的无样例设置下，进行了更多的实证和与现有方法的比较。

    Aug, 2023

  • 无需训练的原型校准的少样本类增量学习

    在Few-Shot Class-Incremental Learning (FSCIL)场景中，我们发现现有方法倾向于将新类别的样本错误地分类为基类别，导致新类别的性能表现较差。为了解决这一问题，我们提出了一种简单而有效的训练无关的校准策略（TEEN），通过将新类别的原型与加权基类别的原型相融合，以增强新类别的可区分性。在FSCIL标准基准测试中，TEEN显示出出色的性能并在few-shot learning场景中持续改进。

    Dec, 2023

  • FeTrIL++：基于山峰爬升的无样本增量学习的特征翻译

    FeTrIL框架的研究扩展至新颖的实验领域，通过对多个具有挑战性的数据集和增量设置进行各种过采样技术和动态优化策略的实证研究来研究其有效性，特别是探索过采样对特征可用性的影响以及不同的优化方法对增量学习结果的影响。通过在CIFAR100、Tiny-ImageNet和ImageNet-Subset上进行全面实验，FeTrIL在新旧类别的准确性平衡方面表现出卓越性能，相对于其他十种方法，其优越性能得到了肯定。研究揭示了过采样和优化对于类别增量学习的微妙影响，为特征空间操作在课堂增量学习中的更精细理解做出了贡献。本文的扩展研究为更适应和高效的EFCIL方法铺平了道路，承诺在不需要样本的情况下显著改善处理灾难性遗忘。

    Mar, 2024

  • 利用细粒度原型分布提升无监督类增量学习

    本研究针对现有类增量学习方法假设训练过程中具备完整标签这一现实中的缺口，探讨了无监督类增量学习的问题。通过利用细粒度原型建模类别分布及引入粒度对齐技术，显著提升了无监督类发现的效果，并提出了减少新旧类别重叠的策略，以保留历史知识并减轻灾难性遗忘现象。实验结果表明，所提方法在多个数据集上显著优于现有最先进的方法。

    Aug, 2024