AAAIJan, 2021

持续学习的不变表示学习

PDF
TL;DR本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。
continual learningcatastrophic forgettingpseudo-rehearsal-based methodclass-invariant representationknowledge transfer
发现论文，激发创造
  • 对抗性持续学习

    本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

    Mar, 2020

  • RepCL: 持续文本分类有效表示探索

    本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

    May, 2023

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 理想的持续学习者：一种永不遗忘的智能体

    本文提出了一个新的永续学习框架 “理想永续学习器”(ICL)，其通过构造保证避免了灾难性遗忘。我们证明了 ICL 统一了多种现有的永续学习方法，并为这些方法的优缺点提供了新的理论见解。最后，我们将 ICL 与现代研究领域中的经典主题和研究课题联系起来，以期激发未来的研究方向。

    Apr, 2023

  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 前瞻性选择性可塑性实现视觉任务的持续学习

    通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

    Nov, 2023

  • 信息论视角下缓解连续文本分类中的灾难性遗忘

    持续学习在避免旧任务遗忘的同时，旨在不断学习新知识。本研究侧重于类增量设置下的文本分类，在探索持续学习的表示学习过程中，发现信息瓶颈的压缩效应导致了对类似类别的混淆。为了使模型学习到更充足的表示，我们提出了一种新颖的基于重放的持续文本分类方法 InfoCL。该方法利用快慢对比学习和当前 - 过去对比学习来进行互信息最大化，更好地恢复之前学到的表示。另外，InfoCL 还采用了对抗性记忆增强策略来缓解重放的过拟合问题。实验结果表明，InfoCL 有效地减轻了遗忘问题，并在三个文本分类任务上达到了最先进的性能。代码公开可用于此 https URL。

    Oct, 2023

  • Co$^2$L：对比连续学习

    本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

    Jun, 2021

  • 生物特征识别的持续表征学习

    本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

    Jun, 2020