Nov, 2022

超越不遗忘：带有反向知识迁移的连续学习

PDF
TL;DRCUBER 是一种用于关键层有积极相关性的老任务的前向知识传递和反向知识传递来提高连续学习中表现的方法，它可以在无数据回放的情况下实现积极的反向知识传递，并且在已有 CL 基准测试中表现优异。
continual learningbackward knowledge transferneural networkstask correlationcatastrophic forgetting
发现论文，激发创造
  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021

  • 前向 - 后向知识蒸馏的持续聚类

    在无监督连续聚类（UCC）中，引入了前向 - 后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。

    May, 2024

  • 在连续学习中利用测试时间数据控制遗忘

    通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

    Jun, 2024

  • 忘却是否是正向迁移的良好归纳偏差？

    研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

    Mar, 2023

  • 利用模块化网络与任务驱动 先验知识实现高效连续学习

    本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

    Dec, 2020

  • 迈向稳健高效的持续语言学习

    本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

    Jul, 2023

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 超网络的持续学习

    本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

    Jun, 2019

  • 经验回放用于连续学习

    本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

    Nov, 2018

  • 存在假相关性情况下的持续学习

    本文研究了连续学习中数据集偏差对模型知识迁移的影响，并通过设计实验证实了标准 CL 方法会将偏差从一个任务传递到另一个任务，而提出的 Group-class Balanced Greedy Sampling（BGS）插件能有效地解决这一问题。

    Mar, 2023