本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题,该文提出了一种新的方法,即基于生成回放的连续学习方法,该方法可以在各种不同的场景下实现优异的性能表现。
Sep, 2018
本文介绍了一种基于回放的持续分类学习方法,称为“条件重放”,该方法通过从以类为条件的分布中进行采样生成样本和标签。作者将条件重放与另一种基于回放的持续学习范式(称为“边际重放”)进行了比较,并在新的和标准的MNIST和FashionMNIST数据集构建的基准测试中展示了这种方法的有效性,并与基于正则化的“弹性权重合并”(EWC)方法进行比较。
Oct, 2018
研究在线持续学习范式下,使用经验回放(ER)对抗内存与计算约束时,新添加的类别在ER下表示的变化,通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则,有利于在任务边界时避免遗忘。在标准持续学习基准测试中,与强基线方法相比取得了显著提高。
Apr, 2021
本研究提出了一种基于经验回放的在线连续学习方法,该方法使用不对称更新规则,使得新类别能够更好地适应先前观察到的类别,并在标准连续学习基准测试中获得显著的性能提升。
Mar, 2022
这篇论文提出了一种称为Adiabatic Replay的新颖学习策略,它可以在避免灾难性遗忘的同时,仅回放与新数据相似的旧数据样本,并且可以利用GMM模型高效地更新旧数据模型,实验结果证明了这种方法在连续学习方面的有效性。
Mar, 2023
本研究提出了一种基于强化经验回放的连续学习方法,通过使用当前训练数据模仿未来经验,以及蒸馏内存缓冲区的过去经验,来提高模型的预测一致性,从而有效保留已获得的知识。实验结果表明,我们的方法在多个图像分类数据集上优于现有方法。
May, 2023
通过对常用的蓄水池采样方法与其他替代人群策略进行比较,本研究旨在解决连续学习中选择最具信息价值样本和确定最优存储样本数量的问题,并提供了相关的详细分析。
Aug, 2023
在严格的条件下,通过使用生成回放、模型大小控制、时态正则化等方法,本研究提出了一种脑启发式的持续学习方法,以解决累积学习中遗忘问题,并在重要基准测试中取得了较好的实验结果。
Oct, 2023
在在线连续学习中,通过经验重放防止灾难性遗忘和过拟合的神经网络优化过程可能出现不稳定的轨迹,我们提出了一种解决方案——分层近似重放(LPR),通过优化几何图形,平衡新数据和重放数据的学习,但仅允许对过去数据的隐藏激活进行逐渐变化,我们证明LPR在多个问题设置下稳定提升了基于重放的在线连续学习方法的性能,不受可用重放内存的影响。
Feb, 2024
基于丰富的记忆资源和训练效率的重视,我们引入了一种适应性记忆回放的框架来解决不断学习问题,通过多臂赌博机问题的方法来动态选择训练数据,从而在保持高性能的同时减少了遗忘达10%。
Apr, 2024