Jul, 2023

RanPAC：用于连续学习的随机投影和预训练模型

PDF
TL;DR本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。
continual learningpre-trained modelsparameter updatingrandom projectorsclass-prototype-based cl
发现论文，激发创造
  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 跨层表示优化预训练模型的无需重演训练的持续学习

    我们提出了 LayUP，这是一种基于类原型的持续学习方法，利用预训练网络的多个中间层的二阶特征统计。与最佳基准线相比，LayUP 在七种类增量学习设置中提高了四种，并且在内存和计算资源占用方面大大减少。我们的结果表明，充分利用预训练模型在持续学习中的表示能力远不止于最终嵌入。

    Dec, 2023

  • 基础模型的持续学习：潜在重放的经验研究

    本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的 CL 性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在 CL 效果的方向。

    Apr, 2022

  • 持续预训练减轻语言和视觉遗忘问题

    本文研究了预训练模型在流畅学习中的应用，证明了组合使用自监督预训练和微调模型可以有效地保留模型先前学习的知识，有效防止灾难性遗忘。

    May, 2022

  • 非先验条件下，野外未标记数据的持续学习

    基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

    Oct, 2023

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023

  • SLCA: 基于分类器对齐的预训练模型渐进式学习中的慢学习器

    本研究旨在针对连续学习问题，通过使用预训练模型，提出一种基于逐步降低学习率以及分类器对齐的方法，取得了显著性能提升。

    Mar, 2023

  • RepCL: 持续文本分类有效表示探索

    本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

    May, 2023

  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021