基于图的持续学习
我们提出了一种针对图学习中的灾难性遗忘问题的方法,在数据从一个图分布过渡到另一个图分布时,通过维持图的局部和全局结构一致性的排练机制来保持对过去任务的知识,并在实际图数据集中与各种持续学习基线进行了性能评测,取得了平均性能和任务遗忘方面的显著改进。
Aug, 2023
综述连续图学习的最新研究进展,从解决灾难性遗忘的角度提出连续图学习的分类方法,探讨在连续改进中应用这些方法所面临的挑战和可能的解决方案,并讨论了对连续图学习发展的开放问题和未来方向以及其对连续性性能改善的影响。
Feb, 2024
本文研究神经网络存在的遗忘问题以及连续学习的解决方案,通过重放机制和元学习的结合,发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题,并在保证学习效率和准确性方面具有优势。
Mar, 2021
本论文提出了一种结构学习策略和参数学习策略相结合的图像持续学习方法,并采用强化学习驱动结构学习策略,Dark Experience 回放的概念来应对灾难性遗忘问题。在图持续学习基准问题中得到了验证,并在两个设置中都表现出比最近发布的作品更好的性能。
Sep, 2022
我们提出了一种新的回放策略,称为 Manifold Expansion Replay (MaER),通过扩展知识表示的隐含流形,改善模型的鲁棒性和表达能力,以解决在学习新任务过程中由于老知识和新知识之间不平衡导致的灾难性遗忘问题。我们通过对 MNIST、CIFAR10、CIFAR100 和 TinyImageNet 进行广泛实验验证,表明提出的方法在继续学习设置中显著提高了准确性,优于现有技术水平。
Oct, 2023
基于丰富的记忆资源和训练效率的重视,我们引入了一种适应性记忆回放的框架来解决不断学习问题,通过多臂赌博机问题的方法来动态选择训练数据,从而在保持高性能的同时减少了遗忘达 10%。
Apr, 2024
本文提出了一种控制遗忘的连续学习方法,通过基于有约束优化的观点来选择回放缓冲区的样本,以减少学习中遗忘的现象,并且与其他基于任务边界的现有方法进行了比较。
Mar, 2019
本文探讨了不断学习中,使用 rehearsal 方法的优点和局限,通过三个基准测试提供了实证证据,指出使用该方法的模型在任务完成后仍然处于较低的损失区域,但有过拟合采样数据的风险从而降低模型的泛化能力,这是一项重要的持续学习研究。
Apr, 2021
本文介绍基于 kernel 方法的 kernel continual learning 模型,通过采用 episodic memory 存储子集样本的方式,利用 kernel ridge regression 算法学习任务特定的分类器,避免了内存重放以及分类器中存在任务干扰的问题。进一步,引入 variational random features 方法学习数据驱动的 kernel,而不需要提前选择 kernel 函数。在四个基准测试上的结果表明了 kernel 在 continual learning 任务中的有效性和灵活性。
Jul, 2021