大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

Feb, 2024

通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

Oct, 2023

在本研究中，我们针对有限资源的情况，通过预测微调性能并阐明其与扩展规律的自然连接，解决了在众多选项中选择最合适微调模型的挑战。我们发现，与预训练不同，微调的扩展曲线不仅包括众所周知的 “幂阶段”，还包括以前未观察到的 “前幂阶段”。为了克服现有扩展规律无法捕捉这种相变现象的理论和实证限制，我们引入了 “预学习数据大小” 概念到改进的扩展规律中，这大大提高了实验结果的拟合度。通过利用我们的规律，我们提出了一种新颖的 LLM 选择算法，用较少的资源消耗选择接近最优的模型，而其他方法可能提供负相关的选择。

Feb, 2024

本文提出了一种新颖的无微调的自然语言处理模型 Fine-tuning-free strategy，通过使用语言和强任务感知的 teacher signal 进行交互式训练，提高了该模型在多项任务中的泛化性和鲁棒性，并且相对于大型模型如 GPT-3 和 InstructGPT 而言，该模型较小，只有 0.3B 的参数。

May, 2023

大型语言模型 (LLMs) 由表现出各种行为和角色的神经元构成，随着模型规模的扩大，它们变得越来越多样化。研究发现，并非所有神经元在不同的数据集上都活跃，这种稀疏性与任务特定能力呈正相关，为模型剪枝和训练效率的进展提供了基础。传统的微调方法涉及 LLMs 的所有参数，计算复杂且可能不必要。相反，参数高效的微调方法旨在减少可训练参数的数量，但它们仍在相对宏观（例如，层级）上操作。我们介绍了神经元级微调 (NeFT)，一种将参数训练的粒度细化到单个神经元，实现更精确、计算更高效的模型更新的新方法。实验结果表明，NeFT 不仅超过了全参数微调和参数高效微调的性能，还为神经元分析提供了深入洞见。

Mar, 2024

本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

Sep, 2023

本论文探讨了基于期望最大化的简单自我训练方法 ReST$^{EM}$，在数学问题和编码基准测试中使用 PaLM-2 模型，细调模型，获得了在模型尺寸上的有利规模效应，并且明显超过仅使用人工数据的细调方法，总体而言，研究结果表明利用反馈进行自我训练可以大大减少对人工生成数据的依赖。

Dec, 2023

本文研究发现，相对于使用多个任务的 multitask-prompted fine-tuning 方法进行指导调整的语言模型，仅针对单个任务进行专家模型的 fine-tuning 能够使模型在 11 个不同的未知数据集上以及 13 个 BIG-bench 基准测试数据集上平均准确率分别提高 3.20% 和 1.29%。此外，分别训练每个专家模型而不是单个 MT LM 进行 zero-shot 推断具有许多好处，包括避免负面任务转移，能够持续学习新任务而无需重新训练以避免灾难性遗忘以及显示在合并单个专家时具有组合能力。

Feb, 2023

本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

Mar, 2024

通过数据映射方法和引入训练动态的方式，本文提出一种新的微调方法（FTFT），相比传统的经验风险最小化方法（ERM），该方法在训练成本减半的情况下达到更好的泛化鲁棒性。

Oct, 2023