May, 2023

针对内存限制的在线持续学习流数据总结

HTML
PDF
TL;DR通过将真实图片的训练特征提炼到更具信息量的样本中，保持训练梯度的一致性和与过去任务的关联性，我们提出了一种从流式数据中总结知识的方法(SSD)，并进行了多次实验以支持其有效性，其中包括对限制性内存缓冲下连续 CIFAR-100 的性能提升超过 3%。
发现论文，激发创造
  • 最大干扰检索的在线连续学习

    该论文探讨了在机器学习系统中，面对一个不断涌现的数据流的情况下，通过回放的方法来控制采样记忆，从而提供全新的方案来解决单通道数据训练面临的挑战，并通过多个标准基准测试，达到了与或超过现有最先进技术的表现。

    Aug, 2019

  • 大规模持续学习中重放记忆的有效性

    本研究提出了一种新的压缩激活重放技术，以中间层激活的重放增强深度模型的正则化效果，它在大规模任务、分裂-CIFAR和分裂-miniImageNet数据集上均有显着效果。

    Oct, 2020

  • 在线持续学习中减少突然表征变化的新见解

    研究在线持续学习范式下，使用经验回放（ER）对抗内存与计算约束时，新添加的类别在ER下表示的变化，通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则，有利于在任务边界时避免遗忘。在标准持续学习基准测试中，与强基线方法相比取得了显著提高。

    Apr, 2021

  • 面向连续学习的信息论在线记忆选择

    本文是关于使用信息论从数据流中选择回放内存的在线选择问题的研究，提出了Surprise和Learnability准则，并使用贝叶斯模型高效地计算这些准则，进一步引入信息熵随机采样器（InfoRS）来选择高信息熵的点进行采样。在连续学习基准测试中，验证了它的效率和功效。

    Apr, 2022

  • 在线连续学习中的样本压缩

    本文提出了一种新的重放式连续学习策略OLCGM，使用知识压缩技术持续压缩记忆并更好地利用其有限的内存大小，取得了比现有重放策略更高的最终准确性。

    Jun, 2022

  • 在线连续学习中的实时评估：新的希望

    该研究提出了一种实用的、实时的、基于计算成本的Continual Learning方法评估方法，并使用包含3900万个时间戳标记的图像的CLOC数据集展开了大量实验，发现现有的CL方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用CL组件，证实了对计算成本进行考虑是开发在线Continual Learning方法的必要基础。

    Feb, 2023

  • 只是一瞥：重新思考视频连续学习的时间信息

    在视频持续学习中，我们提出了一种名为SMILE的新型重播机制，通过个体/单帧对有效视频持续学习进行了改进，并在Kinetics、UCF101和ActivityNet数据集上实现了最先进的性能，优于之前的最新技术达21.49%。

    May, 2023

  • 在线持续学习的综合实证评估

    在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

    Aug, 2023

  • 无先验平衡重放：基于不确定性引导的长尾持续学习的水库抽样

    本研究解决长尾持续学习（LTCL）中灾难性遗忘的问题，现有方法通常依赖于标签分布，而获取此类先验信息在实际中往往不可行。我们提出了一种新颖的无先验平衡重放（PBR）框架，通过不确定性引导的水库抽样策略优先重访少数类数据，显著减少遗忘，并在多个长尾基准测试中展示出优于现有方法的表现。

    Aug, 2024

  • 基于预算的在线持续学习：自适应层冻结和基于频率的采样

    本研究针对在线持续学习中不同计算和存储预算对算法公平比较的影响，提出了浮点运算（FLOPs）和总存储大小作为度量标准。通过自适应层冻结和改进的记忆检索方法，能够在有限的资源预算内显著提升学习效率和性能，实验证明该方法在多项数据集上优于现有技术。

    Oct, 2024