选择性再学习在在线连续类比推理中增强学习
本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题,该文提出了一种新的方法,即基于生成回放的连续学习方法,该方法可以在各种不同的场景下实现优异的性能表现。
Sep, 2018
本文介绍了一种基于回放的持续分类学习方法,称为“条件重放”,该方法通过从以类为条件的分布中进行采样生成样本和标签。作者将条件重放与另一种基于回放的持续学习范式(称为“边际重放”)进行了比较,并在新的和标准的MNIST和FashionMNIST数据集构建的基准测试中展示了这种方法的有效性,并与基于正则化的“弹性权重合并”(EWC)方法进行比较。
Oct, 2018
本文研究神经网络存在的遗忘问题以及连续学习的解决方案,通过重放机制和元学习的结合,发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题,并在保证学习效率和准确性方面具有优势。
Mar, 2021
研究在线持续学习范式下,使用经验回放(ER)对抗内存与计算约束时,新添加的类别在ER下表示的变化,通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则,有利于在任务边界时避免遗忘。在标准持续学习基准测试中,与强基线方法相比取得了显著提高。
Apr, 2021
本研究提出了一种基于经验回放的在线连续学习方法,该方法使用不对称更新规则,使得新类别能够更好地适应先前观察到的类别,并在标准连续学习基准测试中获得显著的性能提升。
Mar, 2022
这篇论文提出了一种称为Adiabatic Replay的新颖学习策略,它可以在避免灾难性遗忘的同时,仅回放与新数据相似的旧数据样本,并且可以利用GMM模型高效地更新旧数据模型,实验结果证明了这种方法在连续学习方面的有效性。
Mar, 2023
本研究提出 Continual Active Learning(CAL)的概念,结合现有和新开发的基于回放的多样化技术,能有效解决 Active Learning 中重新训练以及忘记旧数据等问题,从而能在保持性能的同时大幅度减小训练时间。
May, 2023
在在线连续学习中,通过经验重放防止灾难性遗忘和过拟合的神经网络优化过程可能出现不稳定的轨迹,我们提出了一种解决方案——分层近似重放(LPR),通过优化几何图形,平衡新数据和重放数据的学习,但仅允许对过去数据的隐藏激活进行逐渐变化,我们证明LPR在多个问题设置下稳定提升了基于重放的在线连续学习方法的性能,不受可用重放内存的影响。
Feb, 2024
基于丰富的记忆资源和训练效率的重视,我们引入了一种适应性记忆回放的框架来解决不断学习问题,通过多臂赌博机问题的方法来动态选择训练数据,从而在保持高性能的同时减少了遗忘达10%。
Apr, 2024
该研究针对机器学习模型在新类别学习中容易造成的灾难性遗忘问题,提出了一种新颖的自适应对比重放(ACR)策略。该方法通过双重优化策略改进重放缓冲区,从而平衡稳定性与可塑性,显著提高了OOD泛化能力,达到了在多个数据集上超过以往方法的显著提升效果。
Oct, 2024