Sep, 2023

ConPET: 大型语言模型的连续参数高效调整

HTML
PDF
TL;DRContinual Parameter-Efficient Tuning (ConPET), a generalizable paradigm for continual task adaptation of large language models (LLMs) with task-number-independent training complexity, reduces tuning costs and alleviates over-fitting and forgetting issue through static and dynamic ConPET versions.
发现论文，激发创造
  • 任意少参数足以适应大规模预训练语言模型

    本研究发现模型缩放可以缓解调整方法的设计差异，并使调整方法优化更少的参数以实现全参数微调性能，并探讨了此现象与优化角度的机制，这些结论不仅证明了模型缩放对调整方法的积极影响，还披露了其机制，有助于我们设计更有效和高效的调整方法。

    Jun, 2023

  • DAPT：用于大型语言模型参数高效持续学习的双重注意力框架

    提出一种新颖的双注意力框架（DAPT），通过双注意力学习和选择模块，对鲁棒性防止灾难性遗忘和促进知识迁移的能力进行了优化。对两个持续学习基准进行了大量实验，证明了DAPT相比于现有的方法在抵抗灾难性遗忘和促进知识迁移方面的优越性。此外，在不同的模型大小（从770M到11B）和未见任务方面，DAPT也表现出优越性。

    Jan, 2024

  • 大型语言模型的持续学习：一项调研

    该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对LLMs的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

    Feb, 2024

  • 参数高效调整中的分析与降低灾难性遗忘

    在研究中我们发现，当大型语言模型在复杂多样的特定领域下任务中不断进行微调时，对历史任务的推理性能会显著降低，这就是所谓的灾难性遗忘问题。本文通过模态连接性的透镜，调查了连续LLM微调场景中不同极小值之间的几何连接，发现它可以在可塑性和稳定性之间取得平衡。基于这些发现，我们提出了一种称为Interpolation-based LoRA（I-LoRA）的简单而有效的方法，它基于LoRA参数插值构建了双记忆经验回放框架。在八个特定领域的连续学习基准测试上的广泛实验和分析表明，I-LoRA始终比先前的最先进方法取得显著提升，性能提高了高达11%，为大型语言模型连续学习问题提供了强大的基准和研究启示。

    Feb, 2024

  • 具有广义持续学习的可扩展语言模型

    该研究引入了可扩展语言模型（SLM）来解决现有方法在实际应用中遇到的限制和挑战，通过联合自适应重参数化（JARe）和动态任务相关知识检索（DTKR），实现了语言模型的自适应调节，从而在广泛的应用领域中实现了有效的持续学习。

    Apr, 2024

  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • SwitchCIT：用于大型语言模型的持续指令调整的切换

    该研究讨论了在大规模语言模型中出现的连续指导调整中的灾难性遗忘问题，并通过一种切换机制来解决此问题，使计算能够路由到参数高效调整的模型，该方法通过实验表明其在不同自然语言生成任务的连续指导调整中具有显著有效性。

    Jul, 2024

  • CURLoRA：稳定LLM持续微调与灾难性遗忘的缓解

    本文提出了CURLoRA，一种利用CUR矩阵分解进行大规模语言模型微调的新方法，旨在解决灾难性遗忘与可训练参数减少两个问题。通过修改CUR分解过程，采用倒概率选择并初始化$U$矩阵为零矩阵，实验结果表明，CURLoRA在多个数据集上优于标准LoRA，能够在持续微调期间保持模型稳定性和性能，特别是在有限数据情况下。

    Aug, 2024

  • 探索持续微调以提升大型语言模型的语言能力

    本研究解决了大型语言模型（LLMs）在学习新语言时，难以保持其已掌握语言（通常是英语）的性能的问题。研究提出了一个两阶段的持续微调过程，结果表明，第二阶段任务与第一阶段任务的相似性影响模型的适应性。同时，针对性能下降，分析了两种持续微调方法的变体，证实其在提升语言能力的同时保持任务性能的有效性。

    Oct, 2024

  • SAFE：用于预训练模型的持续学习的慢速与快速参数高效调优

    本研究解决了持续学习中现有方法无法充共享重要知识和参数冻结限制新概念学习的问题。提出了一种慢速与快速参数高效调优（SAFE）框架，通过传递损失函数和交叉分类损失来平衡模型的稳定性与适应性，从而有效减轻灾难性遗忘，并在多个基准数据集上显著超过了现有的最先进方法。

    Nov, 2024