概念漂移下的增量式经验回放连续学习
这篇研究报告总结了 CVPR 2023 年的 CLVision 挑战赛,重点讨论了类增量学习中的数据重复问题,介绍了三个解决方案,实验证明基于模块集成的多版本策略对于利用数据流中的重复性进行持续学习是有效的。该报告强调了通过在数据流中利用重复性来促进创新策略设计的转变潜力。
May, 2024
该研究论文介绍了一种新的图数据流分类方法,能在节点和边随时间变化的情况下进行模型适应的增量学习,选择每个类别的代表图并创建嵌入表示,同时通过基于损失的概念漂移检测机制来重新计算图的代表图。
Apr, 2024
通过在共享的潜变量空间中不断更新原型解决了在线学习中原型过时和缓解遗忘的问题,提出了一种学习和预测任意时间点数据的系统。除了最近邻预测之外,通过提高类原型周围的聚类密度和增加类间方差来促进学习的同时,使用记忆库中的样本构成虚拟原型来提高潜在空间质量。
Sep, 2020
该研究提出了一个利用少量标记示例来扩展以前学习概念的计算模型,该模型基于 Parallel Distributed Processing 和 Complementary Learning Systems 理论,使用嵌入空间将新概念与以前学习的概念联系起来,并通过生成分布来解决灾难性遗忘问题。
Jun, 2019
该论文探讨了在机器学习系统中,面对一个不断涌现的数据流的情况下,通过回放的方法来控制采样记忆,从而提供全新的方案来解决单通道数据训练面临的挑战,并通过多个标准基准测试,达到了与或超过现有最先进技术的表现。
Aug, 2019
研究在线持续学习范式下,使用经验回放(ER)对抗内存与计算约束时,新添加的类别在 ER 下表示的变化,通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则,有利于在任务边界时避免遗忘。在标准持续学习基准测试中,与强基线方法相比取得了显著提高。
Apr, 2021
本文研究神经网络存在的遗忘问题以及连续学习的解决方案,通过重放机制和元学习的结合,发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题,并在保证学习效率和准确性方面具有优势。
Mar, 2021
在视频持续学习中,我们提出了一种名为 SMILE 的新型重播机制,通过个体 / 单帧对有效视频持续学习进行了改进,并在 Kinetics、UCF101 和 ActivityNet 数据集上实现了最先进的性能,优于之前的最新技术达 21.49%。
May, 2023
在线持续学习在不断变化的数据流中直接学习,并存储来自该流中的最少量数据,本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估,重点关注图像分类中的增量类别设置,通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标,发现大多数方法都存在稳定性和欠拟合问题,但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法,经过适当调整和实施,是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果,并鼓励未来的研究。
Aug, 2023