Sep, 2023

基于似然比的任务预测的类增量学习

PDF
TL;DR在连续学习中，对于每个测试样本预测任务标识符是一个具有挑战性的问题。本文提出了一种新的方法 TPLR（基于似然比的任务标识符预测），该方法利用了连续学习中的额外信息，显著优于强对比模型。
class incremental learningtask-specific modelood detectortask-id predictiontplr
发现论文，激发创造
  • 解决不间断学习问题的理论研究

    研究表明，类增量学习 (CIL) 的问题可以分解为两个子问题：任务内预测 (WP) 和任务 ID 预测 (TP)，其中 TP 与分布外检测 (OOD) 相关联。该研究的关键结论是，无论是否通过 CIL 算法显式或隐式定义 WP 和 TP 或 OOD 检测，优秀的 WP 和 TP 或 OOD 检测都对于良好的 CIL 表现是必要且充分的，其中 TIL 就是 WP。基于理论结果，还设计了新的 CIL 方法，其在 CIL 和 TIL 两个设置中性能均优于强基线。

    Nov, 2022

  • 持续学习的可学习性和算法

    本文研究了挑战性的连续学习（CL）设置下的类增量学习（CIL），证明了 CIL 是可学的，并基于理论提出了一种新的 CIL 算法，并通过实验结果证明了其有效性。

    Jun, 2023

  • 长尾类别增量学习

    本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

    Oct, 2022

  • 分类学类别增量学习

    本文提出了基于分类法系列的 Taxonomic Class Incremental Learning (TCIL) 问题，通过参数继承实现了知识的增量传递，实验证明 TCIL 方法在 CIFAR-100 和 ImageNet-100 上均优于 SOTA 方法。

    Apr, 2023

  • 面向类增量学习的在线超参数优化

    该研究设计了一种在线学习方法，可以自适应地优化稳定性 - 可塑性权衡，具有优异的性能表现。

    Jan, 2023

  • 借助测试时间适应，在大型预训练模型时代重新思考类别增量学习

    针对类增量学习问题，我们提出了一种基于测试时间适应的方法（TTACIL），通过在每个测试实例上对预训练模型的层归一化参数进行微调，以学习任务特定特征，并将其重置为基本模型以保持稳定性，从而避免了遗忘，并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。

    Oct, 2023

  • 基于预测误差的增量式分类学习

    该研究提出了一种新方法，基于预测误差的分类（PEC），用于解决类递增学习中的遗忘和不平衡问题。实验结果表明，PEC 在单次数据通过的 CIL 中表现出色，能够在多个基准测试中优于其他无重复排练基线和中等重放缓冲区大小的重放基础方法。

    May, 2023

  • 解决动态扩展架构下增量学习任务混淆问题

    通过使用多层知识蒸馏等技术，原有的动态扩展架构被改进，被称作任务相关增量学习（TCIL），以改善现有的一些问题，比如任务冲突和遗忘问题，在 CIFAR100 和 ImageNet100 数据集上，实验证明 TCIL 显著提高了准确性。

    Dec, 2022

  • 基于分布外重放的连续学习多头模型

    本文提出了一种基于 Transformer 网络的多头模型，使用类特定的分类器来解决类不断增加的连续学习任务，同时支持不同类别数据的 Out-of-Distribution 检测，实验结果优于现有技术。

    Aug, 2022

  • 无范例的类渐进学习初始训练策略分析

    类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

    Aug, 2023