Aug, 2020

极限内存约束下的在线连续学习

HTML
PDF
TL;DR本文提出了一个新的问题——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过Batch-level Distillation（BLD）这种基于正则化的CL方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了MC-OCL问题，同时实现了与需要更高存储开销的先前distillation方法相当的准确性。
发现论文，激发创造
  • 基于梯度的在线持续学习样本选择

    本文提出了一种控制遗忘的连续学习方法，通过基于有约束优化的观点来选择回放缓冲区的样本，以减少学习中遗忘的现象，并且与其他基于任务边界的现有方法进行了比较。

    Mar, 2019

  • 序列上的在线持续学习

    本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

    Mar, 2020

  • 最优连续学习具有完美记忆且是NP难问题

    本文提出了一个理论方法来解释在连续学习任务中避免遗忘的可行性和困难性，主要发现是实现这样的算法通常需要解决NP问题和具有完美的内存存储能力。此发现在经验回放、情景记忆和核心集等方面的CL算法表现出的优异表现相对于基于正则化方法是有理论基础的。

    Jun, 2020

  • 自然分布偏移下的在线持续学习：基于视觉数据的实证研究

    该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

    Aug, 2021

  • 深入探究无复习持续学习

    通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。

    Mar, 2022

  • 在线渐进学习实现循环域漂移的蒸馏

    本文提出在线蒸馏过程中发生领域转移时容易出现的重要问题——灾难性遗忘，针对这一问题，提出了一种基于 continual learning 方法的解决方案，我们将多种最先进的 continual learning 方法纳入在线蒸馏的上下文中，并以周期性领域转移实验结果为例进行了详细分析。我们的实验结果表明，该方法在提高在线蒸馏的鲁棒性和准确性方面具有有效性，并具有在视频监控或自动驾驶等领域的潜在应用。

    Apr, 2023

  • 无存储约束的在线持续学习

    本文提出了一种用于在线连续学习问题的简单算法，该算法采用kNN分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM)两个大规模OCL数据集上取得了最新的技术水平。

    May, 2023

  • 通过协作学习改进在线持续学习的可塑性

    在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了Collaborative Continual Learning (CCL)和Distillation Chain (DC)两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

    Dec, 2023

  • 稠密提取累积知识用于连续学习

    连续学习面临的致命遗忘问题可以通过稠密知识蒸馏方法得到改善，该方法可以在所有任务间蒸馏累积知识，提高模型的稳定性。

    May, 2024

  • 通过自蒸馏减少在线类别增量学习中的灾难性遗忘

    本研究针对连续学习中严重的灾难性遗忘问题，即模型在学习新任务时会遗忘以前的知识。论文提出通过自蒸馏获取可迁移知识，并优化记忆更新方法以优先存储易混淆样本，从而实现更高效的学习。实验结果表明，该方法在CIFAR10、CIFAR100和MiniimageNet数据集上的表现优于传统方法。

    Sep, 2024