持续学习的可学习性和算法
本文提出了一种基于Transformer网络的多头模型,使用类特定的分类器来解决类不断增加的连续学习任务,同时支持不同类别数据的Out-of-Distribution检测,实验结果优于现有技术。
Aug, 2022
研究表明,类增量学习(CIL)的问题可以分解为两个子问题:任务内预测(WP)和任务ID预测(TP),其中TP与分布外检测(OOD)相关联。该研究的关键结论是,无论是否通过CIL算法显式或隐式定义WP和TP或OOD检测,优秀的WP和TP或OOD检测都对于良好的CIL表现是必要且充分的,其中TIL就是WP。基于理论结果,还设计了新的CIL方法,其在CIL和TIL两个设置中性能均优于强基线。
Nov, 2022
论文理论证明了,对于class incremental learning来说,out-of-distribution detection实际上是必需的。因此,一个好的class incremental learning算法必须要同时具备良好的within-task prediction和out-of-distribution detection能力,这将统一 novelty 或 out-of-distribution detection 以及 continual learning.
Apr, 2023
本文提出了一种新的类增量学习方法(VAG),通过将类增量学习视为一个连续标签生成问题,利用预先训练模型的可推广表达来减少灾难性遗忘,并利用词汇表的稀疏性来聚焦生成,同时通过使用标签语义来创建伪重放样本。实验结果表明,VAG方法的表现优于基线方法。
Jun, 2023
类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献,发现初始训练策略是影响平均增量准确性的主要因素,而CIL算法的选择对防止遗忘更为重要。基于此分析,我们提出了选择相应初始训练策略的实际建议,以促进增量学习的实际应用部署。
Aug, 2023
在连续学习中,对于每个测试样本预测任务标识符是一个具有挑战性的问题。本文提出了一种新的方法TPLR(基于似然比的任务标识符预测),该方法利用了连续学习中的额外信息,显著优于强对比模型。
Sep, 2023
针对类增量学习问题,我们提出了一种基于测试时间适应的方法(TTACIL),通过在每个测试实例上对预训练模型的层归一化参数进行微调,以学习任务特定特征,并将其重置为基本模型以保持稳定性,从而避免了遗忘,并在干净和损坏的数据下的多个类增量学习基准测试中胜过了其他最先进的方法。
Oct, 2023
通过采用动态网络算法和中心点增强方法,提出一种任务感知可扩展的框架(Task-aware Expandable,TaE),用于解决长尾类增量学习问题,并在CIFAR-100和ImageNet100数据集上进行实验证明其能取得最先进的性能。
Feb, 2024
提出了一种基于特征丰富性的有效秩增强方法(RFR),旨在提高前向兼容性,该方法通过在基础会话期间增加表示的有效秩,从而便于将更多信息丰富的特征纳入未见过的新任务中,并验证方法的有效性和性能改进。
Mar, 2024
本研究通过实验证明了现有的基于任务准确率的持续学习性能度量方法的局限性,并提出了一个公平且更有用的评估指标Minimal Incremental Class Accuracy(MICA),以及一个综合考虑学习性能变化的单一标量度量方法。
Apr, 2024