通过自净重播的方式对噪声数据流进行连续学习
本文介绍了一种基于回放的持续分类学习方法,称为“条件重放”,该方法通过从以类为条件的分布中进行采样生成样本和标签。作者将条件重放与另一种基于回放的持续学习范式(称为“边际重放”)进行了比较,并在新的和标准的MNIST和FashionMNIST数据集构建的基准测试中展示了这种方法的有效性,并与基于正则化的“弹性权重合并”(EWC)方法进行比较。
Oct, 2018
研究了半监督连续学习 (SSCL) 模型,使用伪标记、一致性正则化、知识蒸馏和外域检测策略,能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。
Jan, 2021
提出使用最近中心点法(NCM)替代在在线学习中普遍使用的Softmax分类器以解决软最大值分类器导致的最近偏差问题,同时引入有监督对比重播(SCR)以更有效地利用NCM分类器,最终实验表明该方法大幅度减少了严重遗忘情况,并在各种数据集上优于现有的学习方法。
Mar, 2021
本研究介绍了Gradient Coreset Replay作为一种新的replay-based CL策略,该策略可有效应对continual learning中的catastrophic forgetting,同时还展示了在离线/在线CL场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。
Nov, 2021
本文提出了一种在在线学习任务中应对标签噪声和模糊数据流的方法,该方法使用标签噪声感知的多样化采样和半监督学习技术来平衡示例中的多样性和纯度,实验证明该方法显著优于现有的方法。
Mar, 2022
通过在Experience Replay框架中引入一致性正则化方法,将其作为自监督前提任务,并在各种连续学习场景下进行研究。结果表明,相对严格的一致性约束可以更好地保留以前任务的信息。
Jul, 2022
基于丰富的记忆资源和训练效率的重视,我们引入了一种适应性记忆回放的框架来解决不断学习问题,通过多臂赌博机问题的方法来动态选择训练数据,从而在保持高性能的同时减少了遗忘达10%。
Apr, 2024
通过分析发现,catastrophic forgetting与学习速度存在强烈相关性,我们提出了一种名为Goldilocks的回放缓冲采样方法,该方法通过筛选中间速度学习的示例来改进现有的持续学习算法,从而在几个图像分类任务中实现了最先进的性能。
Jun, 2024
本研究解决了增量训练中的遗忘问题,尤其是在噪声标签的情况下。通过引入替代经验重放(AER),利用遗忘特性显著区分干净、复杂和噪声样本,并与不对称平衡采样(ABS)相结合,提升了样本纯度。实验证明,该方法在准确性和样本纯度上均表现优异,平均提高了4.71%的准确率。
Aug, 2024
本研究解决长尾持续学习(LTCL)中灾难性遗忘的问题,现有方法通常依赖于标签分布,而获取此类先验信息在实际中往往不可行。我们提出了一种新颖的无先验平衡重放(PBR)框架,通过不确定性引导的水库抽样策略优先重访少数类数据,显著减少遗忘,并在多个长尾基准测试中展示出优于现有方法的表现。
Aug, 2024