Oct, 2024

探索持续微调以提升大型语言模型的语言能力

HTML
PDF
TL;DR本研究解决了大型语言模型（LLMs）在学习新语言时，难以保持其已掌握语言（通常是英语）的性能的问题。研究提出了一个两阶段的持续微调过程，结果表明，第二阶段任务与第一阶段任务的相似性影响模型的适应性。同时，针对性能下降，分析了两种持续微调方法的变体，证实其在提升语言能力的同时保持任务性能的有效性。
发现论文，激发创造
  • TRACE：大规模语言模型连续学习的全面基准

    通过引入TRACE评估标准，本文介绍了大规模语言模型连续学习的挑战，并提出了RCL方法，将任务特定的线索与元理由相结合，以减少LLMs中的灾难性遗忘现象并加快对新任务的收敛。

    Oct, 2023

  • 大型语言模型的持续学习：一项调研

    该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对LLMs的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

    Feb, 2024

  • 优化大型语言模型微调：通过风格对齐的响应调整提升学习效果

    我们的研究探索了在精调过程中地面真实响应风格的影响，发现将地面真实响应风格与大语言模型固有的风格匹配能产生更好的学习效果。基于这个发现，我们开发了一种方法，通过最小化改变大语言模型的现有响应来纠正错误，并将这些调整后的响应作为训练目标。这种技术能够实现与模型的本地响应风格相一致的精确修正，保护模型的核心能力，从而避免过拟合。我们的发现表明，这种方法不仅提高了大语言模型在特定任务上的准确性，而且关键地保持了其原始的能力和有效性。

    Feb, 2024

  • 当扩展与LLM微调相遇：数据、模型和微调方法的影响

    大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

    Feb, 2024

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 揭示了细调的大型语言模型的泛化能力

    这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。

    Mar, 2024

  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • LlamaTurk：为低资源语言适应开源生成型大语言模型

    通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。

    May, 2024

  • 大型语言模型（LLM）在低资源环境中不同有效微调方法的比较分析

    该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

    May, 2024

  • 渐进学习：利用部分掌握知识优化大型语言模型的微调

    本文针对大型语言模型在微调阶段无法有效学习新知识的问题提出解决方案。通过实验，我们提出了一种两阶段的微调策略，该策略能够在保留已掌握知识的同时，显著提高模型在特定任务上的准确性和新知识的掌握率，最高提高了24%。

    Oct, 2024