在线持续学习的综合实证评估

ICCVAug, 2023

A Comprehensive Empirical Evaluation on Online Continual Learning

Albin Soutif--Cormerais, Antonio Carta, Andrea Cossu, Julio Hurtado, Vincenzo Lomonaco...

TL;DR在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Abstract

online continual learning aims to get closer to a live learning experience by learning directly on a stream of data with temporally shifting distribution and by storing a minimum amount of data from that stream. In this empirical evaluation, we evaluate various methods from the literat

online continual learning class-incremental setting image classification algorithm stability

发现论文，激发创造

自然分布偏移下的在线持续学习：基于视觉数据的实证研究

该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

Aug, 2021

在线持续学习在图像分类中的实证研究

该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的 MIR，iCARL 和 GDumb 等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了 MIR 是一种强大而通用的在线持续学习方法。

Jan, 2021

在线连续学习与任意时刻推断的类增量模糊任务配置

提出基于在线、免任务、模糊任务边界、随时进行推断查询的连续学习新模型，使用新度量标准评估模型性能，采用新的内存管理方案和学习技术进行有效的方法，实验验证表明，该方法的表现优于先前的方法。

Oct, 2021

在线连续学习中的实时评估：新的希望

该研究提出了一种实用的、实时的、基于计算成本的 Continual Learning 方法评估方法，并使用包含 3900 万个时间戳标记的图像的 CLOC 数据集展开了大量实验，发现现有的 CL 方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用 CL 组件，证实了对计算成本进行考虑是开发在线 Continual Learning 方法的必要基础。

Feb, 2023

视觉食品分类的在线连续学习

本文介绍了一种新的基于聚类的样本选择算法，以存储每个已学食品的最具代表性数据，并借助平衡训练批次和知识蒸馏对增强样本进行有效的在线学习，以在所有已学类别上维护模型性能。在大规模食品图像数据库 Food-1K 上进行验证，表明该方法在实现食品图像分类的终身学习方面具有巨大潜力。

Aug, 2021

在线情境下的增量学习

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

在线原型学习用于在线连续学习

在线连续学习中，通过在单通数据流中不断学习新数据并减轻灾难性遗忘的问题，本文分析了在新的学习任务中为何在线学习模型无法很好地泛化的快捷学习，然后提出了在线原型学习框架（OnPro），通过在线原型平衡和自适应原型反馈机制，达到良好分离所有已见类别、学习新类别的平衡状态，并在广泛使用的基准数据集上通过实验证明了 OnPro 相对于最先进的基准方法的卓越性能。

Aug, 2023

只是一瞥：重新思考视频连续学习的时间信息

在视频持续学习中，我们提出了一种名为 SMILE 的新型重播机制，通过个体 / 单帧对有效视频持续学习进行了改进，并在 Kinetics、UCF101 和 ActivityNet 数据集上实现了最先进的性能，优于之前的最新技术达 21.49%。

May, 2023

自我监督训练增强在线连续学习

本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

Mar, 2021

无存储约束的在线持续学习

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023