CVPRMay, 2024

在重复的情况下进行连续学习

PDF
TL;DR这篇研究报告总结了 CVPR 2023 年的 CLVision 挑战赛，重点讨论了类增量学习中的数据重复问题，介绍了三个解决方案，实验证明基于模块集成的多版本策略对于利用数据流中的重复性进行持续学习是有效的。该报告强调了通过在数据流中利用重复性来促进创新策略设计的转变潜力。
发现论文，激发创造
  • RepCL: 持续文本分类有效表示探索

    本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

    May, 2023

  • 批级经验回放与复盘在持续学习中的应用

    本文介绍了我们的方法 —— 基于批次的经验回放与复习 —— 来应对 CVPR 2020 CLVision Continual Learning for Computer Vision 挑战，并通过 CORe50 数据集的三个不同迭代学习场景在 79 个参赛团队中分别获得第一名。

    Jul, 2020

  • 概念漂移下的增量式经验回放连续学习

    提出了一种新的持续性学习方法来同时处理学习和存储新信息以及适应先前概念的变化，该方法引入了一个记忆库和一个反应子空间缓冲区来解决数据流挖掘和连续学习两个领域的问题。

    Apr, 2021

  • 强化经验重放的连续学习

    本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

    May, 2023

  • 序列上的在线持续学习

    本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

    Mar, 2020

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 基于门控增量记忆的连续学习用于序列数据处理

    提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

    Apr, 2020

  • 连续学习的统一通用框架

    该研究提出了一个统一框架来解决连续学习中的灾难性遗忘问题，并引入了一种创新的概念 —— 刷新学习，通过重新学习当前数据来提高学习性能，在连续学习基准测试和理论分析中取得了有效的结果。

    Mar, 2024

  • 生物特征识别的持续表征学习

    本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

    Jun, 2020

  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024