Apr, 2024

巧妙之道：利用下游分析能力导航大型语言模型预训练

PDF
TL;DR通过详细分析不同预训练模型中的不同能力表现，我们确认了特定下游指标在不同大小的模型中展示相似的训练动态，多达 670 亿参数。此外，我们还复现了 Amber 和 OpenLLaMA，并发布了它们的中间检查点，以为研究界提供宝贵的资源，促进对开源研究人员的 LLM 预训练进行验证和探索。此外，我们提供了不同模型和能力的性能比较以及不同训练阶段的关键指标指导的实证总结。基于这些发现，我们提供了一种更用户友好的评估优化状态的策略，为建立稳定的预训练流程提供指导。
发现论文，激发创造
  • 大型语言模型下游任务性能的缩放规律

    大型语言模型（LLMs）的缩放规律在设计中提供了重要的指导。本文研究了迁移学习中的缩放行为，探讨了预训练数据的选择和大小对下游性能的影响，并提供了选择适当的预训练数据的实用见解。

    Feb, 2024

  • 为什么使用规模预测前沿的人工智能模型的下游能力如此困难？

    通过使用五个模型家族和十二个多项选择基准测试，我们展示了通过负对数似然性能计算的一系列转换逐渐降低了性能和规模之间的统计关系，同时揭示了导致这种降级的机制：下游度量要求将正确的选择与少量特定的错误选择进行比较，这意味着准确预测下游能力不仅要预测概率质量如何在正确选择上随规模集中，还要预测概率质量如何在特定错误选择上随规模波动。

    Jun, 2024

  • 高效扩展：基于预训练和微调的 Transformer 技术洞见

    本文提出了来自于预训练和微调 Transformer 的缩放见解，并展示了改进的缩放协议，使得重新设计的模型在 downstream fine-tuning 方面具有相似的质量，同时参数数量减少了 50％，训练速度比广泛采用的 T5-base 模型快了 40％。

    Sep, 2021

  • 大规模预训练的极限探索

    通过调整数据规模、模型大小和训练时间，提高预训练的准确性可以有利于大多数下游任务的表现，但是当上游准确度提高时，下游任务的表现会饱和，并且与上游和下游任务的性能呈非线性关系，因此需要对下游性能建立一个模型以反映这种饱和现象。

    Oct, 2021

  • 语言模型的可靠性扩展：超级训练与下游任务

    基于语言模型的缩放定律，本研究通过建立 104 个模型的测试平台，以不同数量的标记在三个数据分布上进行训练，研究了超过训练的情况下的缩放和语言模型的下游任务性能之间的关系。

    Mar, 2024

  • 语言缩水了：缩减规模后的语言模型行为

    本文研究小规模的语言模型中 pre-training 效果的影响，发现 masked language modeling 对于 1.25M 及以上规模的模型具有优化效果，并建立了 pre-training perplexity 和下游任务 (GLUE benchmark) 表现的强关联性。同时，研究了 downscaling effects，并且观察到 FLOPs 小于 $2.2×10^{15}$ 时，MLM loss 并不随着计算成本 (FLOPs) 的降低而平滑缩小，增加层数并不总是有助于提高下游表现。

    May, 2023

  • 语言模型的降低规模成本：在上下文学习之前事实记忆退化

    参数扩展对大型语言模型核心能力的影响是如何的？我们研究了两种常见的扩展技术 —— 权重剪枝和直接训练更小或更大的模型，并分析了它们对语言模型的两个核心能力的影响：(a) 回忆在预训练阶段出现过的事实；(b) 处理推理过程中的上下文信息。通过设计一系列任务，我们发现了这两个能力在不同扩展方式下的差异。将模型大小减少 30% 以上（通过任何扩展方法）会显著降低回忆预训练中出现的事实的能力，但是将模型大小减少 60-70% 则大致保留了模型在处理上下文信息时的各种方式，从从长篇文本中检索答案到通过上下文示例学习参数化函数。密集扩展和权重剪枝都表现出这种行为，这表明模型大小的扩展对于事实回忆和上下文学习具有本质上不同的影响。

    Oct, 2023

  • 显微镜下的比例定律：从小尺度实验预测变形器的性能

    本文通过对自然语言处理任务的实证研究，发现神经比例定律不仅仅用于模型性能的预测，还可用于模型加速开发、优化模型选型以及模型的收敛调试等方面。

    Feb, 2022

  • 走向科学机器学习的基础模型：特征缩放与转移行为表征

    研究表明，预训练模型可以应用于科学机器学习任务中的迁移学习，可在细调适当的预训练模型下，以比从头开始训练少得多的下游示例实现期望的准确度水平。模型的规模越大，用 fine-tuning 方法会获得更好的性能提升，这为 SciML 问题的建模奠定了基础。

    Jun, 2023

  • 通过修正的标度定律选择大型语言模型进行微调

    在本研究中，我们针对有限资源的情况，通过预测微调性能并阐明其与扩展规律的自然连接，解决了在众多选项中选择最合适微调模型的挑战。我们发现，与预训练不同，微调的扩展曲线不仅包括众所周知的 “幂阶段”，还包括以前未观察到的 “前幂阶段”。为了克服现有扩展规律无法捕捉这种相变现象的理论和实证限制，我们引入了 “预学习数据大小” 概念到改进的扩展规律中，这大大提高了实验结果的拟合度。通过利用我们的规律，我们提出了一种新颖的 LLM 选择算法，用较少的资源消耗选择接近最优的模型，而其他方法可能提供负相关的选择。

    Feb, 2024