Jun, 2024

解锁语言模型中的持续学习能力

PDF
TL;DR通过 L1 归一化的输出幅度分布来约束梯度更新过程，我们提出了一种无需回放和任务标签的方法 MIGU（基于幅度的渐进学习梯度更新），以释放语言模型的内在连续学习能力。实验证明 MIGU 对于所有三种语言模型架构（T5，RoBERTa 和 Llama2）普遍适用，在四个连续学习基准测试中，在连续微调和连续预训练设置下，提供了最先进或不相上下的性能。
language modelscatastrophic forgettingcontinual learningmigumodel parameters
发现论文，激发创造
  • 大型语言模型的持续学习：一项调研

    该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对 LLMs 的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

    Feb, 2024

  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023

  • 引入语言指导在基于提示的持续学习中

    在连续学习中，我们提出了 Prompt-based Continual Learning（LGCL）作为 Prompt-based 方法的插件，引入了任务级别和类别级别的语言引导，并通过广泛的实验表明，LGCL 能够持续提高 Prompt-based 连续学习方法的性能，实现了新的技术水平。此外，LGCL 还不需要额外的可学习参数。

    Aug, 2023

  • 大型语言模型能从错误中持续演进

    通过 “从错误中总结” 的学习技巧，我们提出了继续从错误中演进的方法 (CEM) 来实现对大型语言模型的迭代改进，从而解决其知识缺陷问题。我们通过采集涉及问题相关的知识的多个数据源，进行连续、有针对性的知识更新和补充，同时开发了两种策略来构建补充训练集，以增强语言模型对语料库的理解能力并防止灾难性遗忘。通过广泛实验验证了该方法的有效性，最佳情况下，该方法使语言模型的准确性提高了 17.00%。

    Apr, 2024

  • 语言模型的持续知识学习

    本文提出了一种新的连续学习问题 —— 连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非常重要。

    Oct, 2021

  • 在 CLIP 中通过持续语言学习拥抱语言包容性和多样性

    通过连续语言学习 (CL) 扩展视觉 - 语言预训练模型 (VL-PTMs) 的语言能力，并提出了 CLL-CLIP 模型，其通过仅训练标记嵌入来改善内存稳定性，并通过跨模态和跨语言目标进行优化以学习图像和多语种文本之间的对齐关系，实验证明该方法在多语言图像 - 文本检索性能上具有有效性。

    Jan, 2024

  • 迭代前向调整促进语言模型内部学习

    本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

    May, 2023

  • 参数高效调整中的分析与降低灾难性遗忘

    在研究中我们发现，当大型语言模型在复杂多样的特定领域下任务中不断进行微调时，对历史任务的推理性能会显著降低，这就是所谓的灾难性遗忘问题。本文通过模态连接性的透镜，调查了连续 LLM 微调场景中不同极小值之间的几何连接，发现它可以在可塑性和稳定性之间取得平衡。基于这些发现，我们提出了一种称为 Interpolation-based LoRA（I-LoRA）的简单而有效的方法，它基于 LoRA 参数插值构建了双记忆经验回放框架。在八个特定领域的连续学习基准测试上的广泛实验和分析表明，I-LoRA 始终比先前的最先进方法取得显著提升，性能提高了高达 11%，为大型语言模型连续学习问题提供了强大的基准和研究启示。

    Feb, 2024

  • CLiMB: 用于视觉语言任务的持续学习基准

    本研究介绍了 CLiMB 基准测试，并提出了一种改进的视觉 - 语言 Transformer (ViLT) 模型，用于同时处理多模态任务和单模态任务的连续学习问题。通过实验发现，虽然常见的连续学习方法可以缓解多模态任务学习中的遗忘问题，但并不能实现跨任务的知识转移。该基准测试将有助于研究这个多模态场景下的新型连续学习算法。

    Jun, 2022