ICMLJun, 2023

持续学习的可学习性和算法

PDF
TL;DR本文研究了挑战性的连续学习（CL）设置下的类增量学习（CIL），证明了 CIL 是可学的，并基于理论提出了一种新的 CIL 算法，并通过实验结果证明了其有效性。
continual learningclass incremental learningwithin-task predictionout-of-distribution detectionalgorithm
发现论文，激发创造
  • 解决不间断学习问题的理论研究

    研究表明，类增量学习 (CIL) 的问题可以分解为两个子问题：任务内预测 (WP) 和任务 ID 预测 (TP)，其中 TP 与分布外检测 (OOD) 相关联。该研究的关键结论是，无论是否通过 CIL 算法显式或隐式定义 WP 和 TP 或 OOD 检测，优秀的 WP 和 TP 或 OOD 检测都对于良好的 CIL 表现是必要且充分的，其中 TIL 就是 WP。基于理论结果，还设计了新的 CIL 方法，其在 CIL 和 TIL 两个设置中性能均优于强基线。

    Nov, 2022

  • 基于似然比的任务预测的类增量学习

    在连续学习中，对于每个测试样本预测任务标识符是一个具有挑战性的问题。本文提出了一种新的方法 TPLR（基于似然比的任务标识符预测），该方法利用了连续学习中的额外信息，显著优于强对比模型。

    Sep, 2023

  • 开放世界持续学习：统一新颖性检测和持续学习

    论文理论证明了，对于 class incremental learning 来说，out-of-distribution detection 实际上是必需的。因此，一个好的 class incremental learning 算法必须要同时具备良好的 within-task prediction 和 out-of-distribution detection 能力，这将统一 novelty 或 out-of-distribution detection 以及 continual learning.

    Apr, 2023

  • 基于分布外重放的连续学习多头模型

    本文提出了一种基于 Transformer 网络的多头模型，使用类特定的分类器来解决类不断增加的连续学习任务，同时支持不同类别数据的 Out-of-Distribution 检测，实验结果优于现有技术。

    Aug, 2022

  • 分类学类别增量学习

    本文提出了基于分类法系列的 Taxonomic Class Incremental Learning (TCIL) 问题，通过参数继承实现了知识的增量传递，实验证明 TCIL 方法在 CIFAR-100 和 ImageNet-100 上均优于 SOTA 方法。

    Apr, 2023

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023

  • 面向类增量学习的在线超参数优化

    该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

    Jan, 2023

  • 主动式连续学习：在一系列任务中标记查询

    研究了序列任务中主动持续学习（ACL）问题，其中每个任务都包括未标记数据池和注释预算，并发现了主动学习（AL）算法与 CL 算法之间的有效性和相互作用。实验揭示了忘却旧知识和快速学习 CL 和 AL 之间两个相反目标之间的权衡，并提出了一个遗忘 - 学习剖面来平衡 AL 和 CL 对课程增量方案的影响。

    May, 2023

  • 可证明的对比式继续学习

    通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

    May, 2024

  • 互动式连续学习：快思和慢思

    基于互动持续学习框架，使用大型语言模型与记忆检索机制，以及模型之间的协作交互，实现抵抗遗忘和优越性能的持续学习。

    Mar, 2024