Sep, 2023

RECALL+: 广告网络回放对语义分割中的持续学习

PDF
TL;DR通过利用无监督的网络爬取数据检索旧类别示例，本文拓展了之前的方法（RECALL）并通过对抗学习和自适应阈值选择与当前训练数据相似的网络数据样本以解决持续学习中的遗忘问题，在多个增量学习步骤中表现出卓越的结果。
catastrophic forgettingcontinual learningregularization strategiesunsupervised web-crawled dataincremental learning steps
发现论文，激发创造
  • 基于重播的连续学习在语义分割中的应用: RECALL

    研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

    Aug, 2021

  • 增强回放的连续强化学习

    RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

    Nov, 2023

  • RECALL: 无需回忆的连续学习用于目标分类

    提出了一种名为 RECALL 的新型无训练回溯方法，可持续性地学习新的未见过的物体类别，采用回想流程对旧类别进行分类，采用新头部来适应新类别，同时提出了一个正则化策略来减轻遗忘，提出了包括方差的马氏损失，以适应可变密度的新旧类别差异，并在 HOWS-CL-25 数据集上验证了方法的有效性。

    Sep, 2022

  • 防止灾难性遗忘的神经网络提醒

    提出 REMIND 方法，用于神经网络的在线学习。该方法以压缩的记忆方式实现了网络的更新，达到了降低过去学习内容遗忘的目的，并在图像分类和视觉问答任务中表现出了优越性。

    Oct, 2019

  • 大规模遥感数据语义分割的增量学习

    本研究提出一种增量学习方法，可在不影响之前学习到的类别的情况下，学习新类别的语义分割，同时，利用记忆网络来记忆之前学习到的信息。

    Oct, 2018

  • 基於生成回放的評論式學習方法

    本研究提出了一种名为 Review Learning 的深度学习连续学习技术，使用神经突触权重中存储的记忆信息生成数据样本，并避免了在数据集转移学习中出现的灾难性遗忘现象，从而在保护数据隐私的前提下，提高了模型的性能表现。在使用三类二分类电子病历数据进行仿真和真实医疗多机构实验验证后，本文表明 Review Learning 能够高效保留之前学习的知识。

    Oct, 2022

  • 最大干扰检索的在线连续学习

    该论文探讨了在机器学习系统中，面对一个不断涌现的数据流的情况下，通过回放的方法来控制采样记忆，从而提供全新的方案来解决单通道数据训练面临的挑战，并通过多个标准基准测试，达到了与或超过现有最先进技术的表现。

    Aug, 2019

  • 看我，无重放！SurpriseNet：受启发的无监督增量学习的异常检测

    SurpriseNet 是一种解决持续学习中灾难性干扰和跨任务知识学习问题的方法，通过参数隔离和基于异常检测的自编码器来处理，适用于结构化和非结构化数据。

    Oct, 2023

  • 稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割

    本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性，远超过现有技术。

    Mar, 2021

  • 伪重演：实现深度强化学习而不会发生灾难性遗忘

    提出了一种利用深度生成网络结合图像分类和强化学习领域中的连续学习思想的模型，该模型具有双重记忆系统和伪回放系统，能够在 Atari 2600 游戏中完成顺序学习而不会遗忘前面的任务，并且随着任务数量的增加不需要额外的存储要求，存储原始数据或重新访问过去的任务。

    Dec, 2018