Dec, 2023

跨层表示优化预训练模型的无需重演训练的持续学习

PDF
TL;DR我们提出了 LayUP，这是一种基于类原型的持续学习方法，利用预训练网络的多个中间层的二阶特征统计。与最佳基准线相比，LayUP 在七种类增量学习设置中提高了四种，并且在内存和计算资源占用方面大大减少。我们的结果表明，充分利用预训练模型在持续学习中的表示能力远不止于最终嵌入。
continual learninggeneric featurespre-trained modelsintermediate representationsclass-incremental learning
发现论文，激发创造
  • 基础模型的持续学习：潜在重放的经验研究

    本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的 CL 性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在 CL 效果的方向。

    Apr, 2022

  • RanPAC：用于连续学习的随机投影和预训练模型

    本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

    Jul, 2023

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024

  • RepCL: 持续文本分类有效表示探索

    本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

    May, 2023

  • 从动态不平衡学习的角度重新考虑逐步学习

    通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

    May, 2024

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024