Jun, 2024

2024 年第五届 CLVISION 挑战赛冠军解决方案

PDF
TL;DR我们介绍了应对第五届 CLVision 挑战赛的方法，该赛事存在传统类别增量学习之外的独特挑战，包括先前遇到的类别的循环出现以及可能包含未标记数据的分布外类别。我们的方法基于赢得子网络，为每个任务分配独立的参数空间以解决类别增量学习中的灾难性遗忘问题，并采用三种训练策略：有监督分类学习、无监督对比学习和伪标签分类学习，充分利用标记和未标记数据的信息，提高每个子网络的分类性能。此外，在推断阶段，我们设计了子网络之间的交互策略，对于特定样本的特定类别的预测是对应于该类别的不同子网络之间的平均 logits，从而利用不同子网络对循环出现的类别学习的知识来提高分类准确性。这些策略可以同时应用于比赛的三个场景，有效解决比赛场景中的困难。实验结果表明，我们的方法在预选阶段和最终评估阶段均排名第一，在预选阶段的平均准确率为 0.4535，在最终评估阶段的平均准确率为 0.4805。
clvision challengeclass incremental learningcatastrophic forgetting problemunsupervised contrastive learningclassification performance
发现论文，激发创造
  • 自我调节视觉子类学习与共享样本的增量方法

    本文提出了一种增量学习方法，将聚类和分类步骤统一在单个算法中，以发现在规则化风险最小化框架下的最大视觉子类，这可在计算机视觉任务的语义类别中增加对外观不同的视觉子类的识别，同时发现 DPM 等物体检测方法无法利用这些视觉子类中的 50% 的训练样本。

    May, 2014

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020

  • 使用互补记忆系统进行开放词汇分类中的持续学习

    本文提出了一种基于树探针机制的灵活持续学习方法，在图片分类领域获得了较好的学习速度和效果以及弹性推理能力。

    Jul, 2023

  • 使用增强图卷积网络的多标签持续学习

    提出增强图卷积网络（AGCN++）并使用部分标签编码器（PLE）对多标签连续学习（MLCL）进行跨任务标签关系构建、避免灾难性遗忘等处理，实验结果表明该方法是有效的。

    Nov, 2022

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 参数高效的增量式学习的互补学习子网络

    本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

    Jun, 2023

  • 在重复的情况下进行连续学习

    这篇研究报告总结了 CVPR 2023 年的 CLVision 挑战赛，重点讨论了类增量学习中的数据重复问题，介绍了三个解决方案，实验证明基于模块集成的多版本策略对于利用数据流中的重复性进行持续学习是有效的。该报告强调了通过在数据流中利用重复性来促进创新策略设计的转变潜力。

    May, 2024

  • 跨类别分布偏移对连续学习中遗忘的影响

    本文发现连续学习（CL）中的一种特殊的灾难性遗忘 —— 分布偏移遗忘（OODF），特别影响 CL 方法对类别的识别准确度，并强调开发克服 OODF 风险的方法是非常重要的。

    Jun, 2023

  • RECALL: 无需回忆的连续学习用于目标分类

    提出了一种名为 RECALL 的新型无训练回溯方法，可持续性地学习新的未见过的物体类别，采用回想流程对旧类别进行分类，采用新头部来适应新类别，同时提出了一个正则化策略来减轻遗忘，提出了包括方差的马氏损失，以适应可变密度的新旧类别差异，并在 HOWS-CL-25 数据集上验证了方法的有效性。

    Sep, 2022

  • 约束学习中的学习方法：新视角、解决方略与多种应用

    提出了一种名为学习约束学习（LwCL）的新框架，旨在统一处理复杂的学习和视觉问题，通过层次优化模型捕捉这些多样化的学习和视觉问题的本质，并通过梯度响应快速解决策略来克服优化挑战。在合成任务和实际应用上进行了广泛实验，验证了该方法的有效性。该框架提供了一个综合的解决方案，桥接了理论与实践之间的差距。

    Jul, 2023