ICLROct, 2021

在线连续学习与任意时刻推断的类增量模糊任务配置

PDF
TL;DR提出基于在线、免任务、模糊任务边界、随时进行推断查询的连续学习新模型，使用新度量标准评估模型性能，采用新的内存管理方案和学习技术进行有效的方法，实验验证表明，该方法的表现优于先前的方法。
continual learningonline learningclass-incremental learningmemory managementlearning techniques
发现论文，激发创造
  • 在线持续学习的综合实证评估

    在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

    Aug, 2023

  • 在线污染数据流模糊任务边界下的连续学习

    本文提出了一种在在线学习任务中应对标签噪声和模糊数据流的方法，该方法使用标签噪声感知的多样化采样和半监督学习技术来平衡示例中的多样性和纯度，实验证明该方法显著优于现有的方法。

    Mar, 2022

  • 自然分布偏移下的在线持续学习：基于视觉数据的实证研究

    该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

    Aug, 2021

  • 无任务持续学习

    探究如何将连续学习转变成在线学习的系统，可用于自我监督学习和机器人避免冲突，该系统采用 “内存感知神经元” 的方法更新关键性权重。

    Dec, 2018

  • 在线持续学习在图像分类中的实证研究

    该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的 MIR，iCARL 和 GDumb 等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了 MIR 是一种强大而通用的在线持续学习方法。

    Jan, 2021

  • 通过掩码和视觉提示调整的随机模糊任务边界上的在线课堂增量学习

    本文提出了一种名为 Si-Blurry 的新型随机增量模糊任务边界场景，用以反映现实世界的随机属性。作者引入 Mask 和 Visual Prompt tuning（MVP）来解决 Si-Blurry 场景中的任务遗忘和类别不平衡问题，经广泛实验证明 MVP 显著优于现有的方法。

    Aug, 2023

  • 流式终身学习及任意时间推理

    在动态环境中，在线、单通、类增的情况下，我们利用基于贝叶斯的框架和在线内存回访的有效方法来解决这个挑战性的 lifelong learning 问题，并在实验证明了我们的方法超越了此前的研究成果。

    Jan, 2023

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020

  • 持续学习的可学习性和算法

    本文研究了挑战性的连续学习（CL）设置下的类增量学习（CIL），证明了 CIL 是可学的，并基于理论提出了一种新的 CIL 算法，并通过实验结果证明了其有效性。

    Jun, 2023

  • 在线连续学习中的实时评估：新的希望

    该研究提出了一种实用的、实时的、基于计算成本的 Continual Learning 方法评估方法，并使用包含 3900 万个时间戳标记的图像的 CLOC 数据集展开了大量实验，发现现有的 CL 方法并不适用于现实场景，并且介绍了记忆取样策略和正则化方法等常用 CL 组件，证实了对计算成本进行考虑是开发在线 Continual Learning 方法的必要基础。

    Feb, 2023