Sep, 2024

基于补丁的对比学习和记忆巩固用于在线无监督持续学习

HTML
PDF
TL;DR本文研究了一种相对未被深入探讨的学习范式——在线无监督持续学习（O-UCL），该范式处理不断变化的无标签数据流并逐步识别不断增加的类别。提出的基于补丁的对比学习和记忆巩固（PCMC）方法，通过识别和聚类补丁级特征构建数据的复合理解，能够在避免灾难性遗忘的同时将新数据融入模型分布。实验表明，PCMC在多个数据流上表现优良，展现了其在真实应用中的潜力。
发现论文，激发创造
  • 元学习表征用于连续学习

    本文提出了一种称为OML的目标，其直接最小化灾难性干扰，通过学习在持续学习的在线更新过程中加速未来学习和对遗忘有弹性的表示，我们表明可以学习到更有效的在线更新的自然稀疏表示，并且该算法是现有持续学习策略，如MER和GEM的有效补充，最后，我们证明了通过OML学习的基本在线更新策略与基于重演的持续学习方法具有相同的竞争力。

    May, 2019

  • 内存高效的半监督持续学习：世界就是自己的重放缓冲区

    研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

    Jan, 2021

  • 在线持续学习中减少突然表征变化的新见解

    研究在线持续学习范式下，使用经验回放（ER）对抗内存与计算约束时，新添加的类别在ER下表示的变化，通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则，有利于在任务边界时避免遗忘。在标准持续学习基准测试中，与强基线方法相比取得了显著提高。

    Apr, 2021

  • 自然分布偏移下的在线持续学习：基于视觉数据的实证研究

    该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

    Aug, 2021

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用LUMP技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 无存储约束的在线持续学习

    本文提出了一种用于在线连续学习问题的简单算法，该算法采用kNN分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM)两个大规模OCL数据集上取得了最新的技术水平。

    May, 2023

  • 在线持续学习的综合实证评估

    在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

    Aug, 2023

  • 领域感知增强对无监督在线通用连续学习的应用

    这篇论文提出了一种针对无监督在线普通持续学习的对比学习增强内存使用的新方法，通过定义和使用流依赖的数据增强及实现技巧，提升了持续学习中的遗忘问题，实现了与有监督方法相媲美的最新结果，为持续学习提供了有希望的策略。

    Sep, 2023

  • 无监督连续学习中融合现在和过去

    我们提出了一种适用于无监督连续学习（UCL）的统一框架，该框架将实时数据和过去数据的特定学习目标区分开来，包括稳定性、可塑性和跨任务整合。我们的方法Osiris在分离的嵌入空间中明确优化这三个目标，并在所有基准测试中取得了最先进的性能，包括本文提出的两个具有语义结构化任务序列的新基准测试。与标准基准测试相比，这两个结构化基准更接近人类和动物在导航现实环境时接收到的视觉信号。最后，我们展示了一些初步的证据表明连续模型可以从这样的真实学习场景中受益。

    Apr, 2024

  • 持续学习：通过自适应对比重放减少遗忘，提高OOD泛化能力

    该研究针对机器学习模型在新类别学习中容易造成的灾难性遗忘问题，提出了一种新颖的自适应对比重放（ACR）策略。该方法通过双重优化策略改进重放缓冲区，从而平衡稳定性与可塑性，显著提高了OOD泛化能力，达到了在多个数据集上超过以往方法的显著提升效果。

    Oct, 2024