Feb, 2024

优化大型语言模型微调：通过风格对齐的响应调整提升学习效果

HTML
PDF
TL;DR我们的研究探索了在精调过程中地面真实响应风格的影响，发现将地面真实响应风格与大语言模型固有的风格匹配能产生更好的学习效果。基于这个发现，我们开发了一种方法，通过最小化改变大语言模型的现有响应来纠正错误，并将这些调整后的响应作为训练目标。这种技术能够实现与模型的本地响应风格相一致的精确修正，保护模型的核心能力，从而避免过拟合。我们的发现表明，这种方法不仅提高了大语言模型在特定任务上的准确性，而且关键地保持了其原始的能力和有效性。
发现论文，激发创造
  • 使用小型语言模型来微调大型语言模型的仿真器

    通过借鉴RL的框架，引入了一种名为模拟微调（EFT）的技术，从而将预训练和微调的知识与技能解耦，并且通过扩大微调的规模来提高可帮助性，扩大预训练的规模来提高事实性，从而实现在测试时调整不同行为特征的方法，而无需额外训练。

    Oct, 2023

  • 指令调优的局限性

    在本研究中，通过对LLMs进行严格实验和深入分析，我们发现Instruction Tuning的各种限制，比如IT无法增强LLMs的知识或技能、从知识来源中复制响应模式会导致响应质量下降、全参数微调会增加虚构错误等。同时，我们的研究还表明，仅从预训练知识中生成的响应始终优于通过IT学习任何形式的新知识的模型生成的响应。

    Feb, 2024

  • 当扩展与LLM微调相遇：数据、模型和微调方法的影响

    大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

    Feb, 2024

  • 揭示了细调的大型语言模型的泛化能力

    这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。

    Mar, 2024

  • 对大型语言模型进行微调以进行翻译：杂噪语言数据对齐是否足够？

    目前在使用大型语言模型（LLM）进行细调以进行翻译方面的实践中，研究发现LLMs在仅用32个训练实例进行细调后表现出很强的翻译能力，并且单向细调能够使LLMs实现多方向翻译，但是选择翻译方向非常重要，使用英语在目标语言侧进行细调可能导致任务误解，从而阻碍对非英语语言的翻译。在平行数据的目标语言侧引入噪声时也会出现类似的问题，尤其当目标语言在LLM的预训练中具有较好的表示时。相比之下，对于不充分表示的语言，噪声的影响较小。研究发现，成功对齐取决于教会模型保持“表面”关注，从而避免学习错误的偏差而影响翻译。

    Apr, 2024

  • 大型语言模型（LLM）在低资源环境中不同有效微调方法的比较分析

    该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

    May, 2024

  • SCAR：大型语言模型的高效指令调整（Instruction-Tuning）通过风格一致性感知的响应排序

    通过维持人类专家的一致性响应风格和提高训练集中的数据质量，可以显著提高精调大型语言模型（LLMs）的性能，同时减少所需的训练样本数量。研究将响应风格分解为表达和组合风格，并发现在类似质量的训练数据中，具有更高风格一致性的数据可提高LLM的性能。基于这一观察，引入Style Consistency-Aware Response Ranking（SCAR），根据响应的风格一致性自动对训练集中的指令-响应对进行优先排序。通过选择最风格一致的示例，从完整数据集中的前25％到0.7％，精调的LLMs在编码和开放式问答基准测试中能够达到甚至超过整个数据集上训练的模型的性能。

    Jun, 2024

  • 从基础到突破的最终指南：大型语言模型微调的全面技术、研究、最佳实践、应用研究挑战与机遇综述

    本报告探讨了大型语言模型（LLMs）的微调，结合理论见解与实践应用，填补了传统自然语言处理（NLP）模型到AI关键角色之间的研究空白。报告引入了一个结构化的七阶段微调流程，并强调管理不平衡数据集和优化技术。显著发现是采用高效参数方法能够在计算效率和性能之间取得良好平衡，报告为研究者和从业者提供了实用的见解。

    Aug, 2024

  • 渐进学习：利用部分掌握知识优化大型语言模型的微调

    本文针对大型语言模型在微调阶段无法有效学习新知识的问题提出解决方案。通过实验，我们提出了一种两阶段的微调策略，该策略能够在保留已掌握知识的同时，显著提高模型在特定任务上的准确性和新知识的掌握率，最高提高了24%。

    Oct, 2024

  • 探索持续微调以提升大型语言模型的语言能力

    本研究解决了大型语言模型（LLMs）在学习新语言时，难以保持其已掌握语言（通常是英语）的性能的问题。研究提出了一个两阶段的持续微调过程，结果表明，第二阶段任务与第一阶段任务的相似性影响模型的适应性。同时，针对性能下降，分析了两种持续微调方法的变体，证实其在提升语言能力的同时保持任务性能的有效性。

    Oct, 2024