Nov, 2022

解决不间断学习问题的理论研究

PDF
TL;DR研究表明，类增量学习 (CIL) 的问题可以分解为两个子问题：任务内预测 (WP) 和任务 ID 预测 (TP)，其中 TP 与分布外检测 (OOD) 相关联。该研究的关键结论是，无论是否通过 CIL 算法显式或隐式定义 WP 和 TP 或 OOD 检测，优秀的 WP 和 TP 或 OOD 检测都对于良好的 CIL 表现是必要且充分的，其中 TIL 就是 WP。基于理论结果，还设计了新的 CIL 方法，其在 CIL 和 TIL 两个设置中性能均优于强基线。
发现论文，激发创造
  • 持续学习的可学习性和算法

    本文研究了挑战性的连续学习（CL）设置下的类增量学习（CIL），证明了 CIL 是可学的，并基于理论提出了一种新的 CIL 算法，并通过实验结果证明了其有效性。

    Jun, 2023

  • 基于似然比的任务预测的类增量学习

    在连续学习中，对于每个测试样本预测任务标识符是一个具有挑战性的问题。本文提出了一种新的方法 TPLR（基于似然比的任务标识符预测），该方法利用了连续学习中的额外信息，显著优于强对比模型。

    Sep, 2023

  • 开放世界持续学习：统一新颖性检测和持续学习

    论文理论证明了，对于 class incremental learning 来说，out-of-distribution detection 实际上是必需的。因此，一个好的 class incremental learning 算法必须要同时具备良好的 within-task prediction 和 out-of-distribution detection 能力，这将统一 novelty 或 out-of-distribution detection 以及 continual learning.

    Apr, 2023

  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021

  • 在在线连续学习中处理跨任务类别歧视

    本文提出了一个新的优化目标和基于梯度调整方法的动态训练偏差方法，以解决回放方法在在线连续学习过程中的动态训练偏差问题，并在实验中取得了更好的结果，以解决跨任务类别辨别问题。

    May, 2023

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 可证明的对比式继续学习

    通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

    May, 2024

  • 基于分布外重放的连续学习多头模型

    本文提出了一种基于 Transformer 网络的多头模型，使用类特定的分类器来解决类不断增加的连续学习任务，同时支持不同类别数据的 Out-of-Distribution 检测，实验结果优于现有技术。

    Aug, 2022

  • 面向类增量学习的在线超参数优化

    该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

    Jan, 2023

  • 分类学类别增量学习

    本文提出了基于分类法系列的 Taxonomic Class Incremental Learning (TCIL) 问题，通过参数继承实现了知识的增量传递，实验证明 TCIL 方法在 CIFAR-100 和 ImageNet-100 上均优于 SOTA 方法。

    Apr, 2023