Jan, 2024

使用预训练模型的不断学习：调查

PDF
TL;DR本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。
continual learningpre-trained modeladvancementscomparative analysisfairness in comparisons
发现论文，激发创造
  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • RanPAC：用于连续学习的随机投影和预训练模型

    本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

    Jul, 2023

  • 基于基石语言模型的持续学习的最新进展：综述

    最近，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了重要的成就。然而，由于灾难性遗忘的原因，它们仍然无法模拟类似人类的连续学习。为了解决这个问题，已经开发了各种基于连续学习（CL）的方法来改进 LMs，并使其能够适应新任务而不会遗忘以前的知识。然而，目前对现有方法的系统分类和性能比较仍然缺乏，这是我们调查的空白。我们对基础语言模型中应用的基于 CL 方法的现有文献进行了全面回顾、总结和分类，如预训练语言模型（PLMs）、大型语言模型（LLMs）和视觉语言模型（VLMs）。我们将这些研究分为离线 CL 和在线 CL，其中包括传统方法、基于参数效率的方法、基于指令调优的方法和连续预训练方法。离线 CL 包括领域增量学习、任务增量学习和类增量学习，而在线 CL 又分为困难任务边界和模糊任务边界设置。此外，我们概述了 CL 研究中使用的典型数据集和度量标准，并详细分析了 LMs-based 连续学习的挑战和未来工作。

    May, 2024

  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021

  • 关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

    本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

    May, 2023

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023

  • 连续学习模型的校准

    持续学习聚焦于在非平稳数据流上最大化模型的预测性能。本文通过第一次对持续学习中校准方法行为的实证研究，展示了持续学习策略并不能自然地学习到校准模型，并设计了一种持续校准方法，该方法通过后处理校准方法在不同基准和持续学习策略范围内提升性能。

    Apr, 2024

  • 自然语言处理中的持续终身学习：综述

    本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

    Dec, 2020