LLM 微调的学习动态
大型语言模型引起了深度学习在实现卓越的人类预测性能方面的最新成功。本文重新评估了大型语言模型时代中学习率调整的研究挑战和机遇，并提出了LRBench++来评估学习率策略，验证了大型语言模型精调与传统深度神经网络训练之间的关键差异。
Sep, 2023
通过本研究，我们发现指导微调对大型语言模型产生了三个重要影响，包括了对指令识别的加强、对知识存储层次的对齐以及对单词关系学习的促进。这些发现有助于更深入地理解指导微调对大型语言模型行为变化的影响，并为未来解释和优化这些模型以适用于不同应用领域的研究打下了基础。
Sep, 2023
在本研究中，我们针对有限资源的情况，通过预测微调性能并阐明其与扩展规律的自然连接，解决了在众多选项中选择最合适微调模型的挑战。我们发现，与预训练不同，微调的扩展曲线不仅包括众所周知的“幂阶段”，还包括以前未观察到的“前幂阶段”。为了克服现有扩展规律无法捕捉这种相变现象的理论和实证限制，我们引入了“预学习数据大小”概念到改进的扩展规律中，这大大提高了实验结果的拟合度。通过利用我们的规律，我们提出了一种新颖的LLM选择算法，用较少的资源消耗选择接近最优的模型，而其他方法可能提供负相关的选择。
Feb, 2024
我们的研究探索了在精调过程中地面真实响应风格的影响，发现将地面真实响应风格与大语言模型固有的风格匹配能产生更好的学习效果。基于这个发现，我们开发了一种方法，通过最小化改变大语言模型的现有响应来纠正错误，并将这些调整后的响应作为训练目标。这种技术能够实现与模型的本地响应风格相一致的精确修正，保护模型的核心能力，从而避免过拟合。我们的发现表明，这种方法不仅提高了大语言模型在特定任务上的准确性，而且关键地保持了其原始的能力和有效性。
Feb, 2024
大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。
Feb, 2024
这篇论文研究了大型语言模型（LLMs）和它们经过微调后的变体之间的差异，尤其关注微调对LLMs内在泛化能力的影响。通过在不同任务和数据集上进行广泛的实验，研究发现微调应用于生成任务和分类任务的模型在泛化到不同领域和任务时表现出不同的行为，并且在生成任务的微调中整合上下文学习策略可以增强模型的泛化能力。通过这一系统性研究，旨在为LLMs的微调实践做出有价值的贡献。
Mar, 2024
在大语言模型时代，提高计算资源的有效利用需求变得非常重要。本文基于LoRA精调方法，引入了一种新颖的参数高效训练技术，通过频繁改变可训练参数的一部分，提高了有效的预训练。我们的方法不仅在预训练阶段实现了内存和计算开销减少，与当前最先进的参数高效算法相当，而且保持了与完全预训练相当的准确性水平。我们提供了理论分析和实证证据来证明我们的方法的有效性。
Jun, 2024
本研究解决了大型语言模型（LLMs）记忆训练数据的程度及其对输出可靠性和隐私的影响。作者提出了一种实验框架，通过反复向LLMs展示随机字符串，从而分析模型行为，发现不同模型具有一致的记忆动态，并识别了影响记忆能力的因素及当地前缀和全局上下文的作用。这些发现对LLMs的研究和应用具有重要的影响。
Jul, 2024
本报告探讨了大型语言模型（LLMs）的微调，结合理论见解与实践应用，填补了传统自然语言处理（NLP）模型到AI关键角色之间的研究空白。报告引入了一个结构化的七阶段微调流程，并强调管理不平衡数据集和优化技术。显著发现是采用高效参数方法能够在计算效率和性能之间取得良好平衡，报告为研究者和从业者提供了实用的见解。
Aug, 2024