提出了一种新型认知启发式方法,该方法使用神经风格转移训练自编码器进行图像编码和存储,通过重放编码图像来解决连续学习中的灾难性遗忘问题,在分类器训练期间生成伪图像来解决内存限制问题,从而有效提高分类准确率并降低存储空间。
Jun, 2020
该论文引入了一种新的终身学习方案,其使用自编码器以保留以前任务的信息并控制新环境下的功能调整,从而显著减少了任务遗忘率。
Apr, 2017
使用对比自监督学习和集成模型的方法,构建一个架构,以有效地进行连续学习,同时避免灾难性遗忘,对多个基准测试问题进行评估并取得了优异的表现。
May, 2021
本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案,并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明,在使用动态内存单元的条件下,该方案在处理硬任务学习方面具有很高的性能增长。
Nov, 2018
本研究提出了利用在线合作记忆框架(OCM)对变分自编码器(VAE)进行动态扩展混合网络的改进,以解决其在连续学习时的遗忘现象和图片生成的不足。使用 OCM 的短期记忆和长期记忆来存储和筛选样本,并结合动态 VAE,提高其后续多任务学习的性能。
Jul, 2022
使用预训练 Transformers 并扩展它们与 Adapters,我们开发了一种方法来增量训练模型处理任务序列,成功地避免了灾难性遗忘并且在多个任务上表现良好。
Mar, 2022
生成对抗网络生成的图像以及假排练方法能够增强卷积神经网络在情绪识别中的性能,保留之前学习到的知识,同时提高对目标数据集和源数据集的训练。
Apr, 2024
通过利用编码器 - 解码器 Transformers 的生成能力,我们提出了一种新的方法来持续学习神经机器翻译系统,以有效地从包含不同语言的经验流中学习,通过使用模型作为生成器填充重播记忆来对抗灾难性遗忘,而无需明确记忆训练数据。
Mar, 2024
通过观察对神经网络输出的对比损失的冗余引发能力,我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数,从而使网络的其余部分能够学习新特征,并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。
Nov, 2023
本文发现在连续学习的情境中,通过对比学习方法学习到的表示对抗遗忘更加鲁棒,基于该观察,我们提出了一种基于重复学习的算法,该算法着重于持续学习和维护可转移的表示,并在常见的基准图像分类数据集上进行了广泛实验验证,该方法取得了最新的最佳性能。
Jun, 2021