Aug, 2023

优化基于 Transformer 的机器翻译模型，以便在单个 GPU 训练中达到最佳性能：超参数淘汰研究

PDF
TL;DR通过对超参数的删减实验，发现模型参数不一定越多越有效，进而揭示了通过精确调整超参数在单个 GPU 上训练复杂模型的关键技巧，从而为机器翻译的可用性和经济性提供了重要见解。
machine translationmodel complexityhyperparametersgputraining
发现论文，激发创造
  • 拥有 100 万 GPU 小时，应该如何选择训练语言模型？

    本研究旨在构建一个大型语言模型 BLOOM，对千亿级模型不同结构、不同预训练语料、多语言模型的零样本泛化性能进行剖析研究，并探究 Transformer 的规模扩展行为以选择合适的目标模型大小、形状和训练配置。

    Oct, 2022

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023

  • Transformer 模型的训练技巧

    本文介绍了使用 Tensor2Tensor 框架和 Transformer 序列到序列模型进行神经机器翻译的实验。研究比较了影响最终翻译质量、内存使用、训练稳定性和时间的一些关键参数，并给出了一些实用建议，包括扩展到多个 GPU 的方法、对批处理大小、学习率、预热步数、最大句子长度和检查点平均值的改进建议。希望本文的观察对其他研究人员有所帮助。

    Apr, 2018

  • 使用单个 GPU 在一天内训练语言模型

    本文研究了使用单个消费级 GPU 只需训练一天的用遮蔽语言模型完全从头开始训练的 transformer-based 语言模型的下游性能，同时提供了一个经过修改的预训练流程，并提供证据表明即使在有限的计算环境下，性能也与大型计算环境下观察到的缩放定律密切相关。

    Dec, 2022

  • 单个 GPU 实现数据效率：小型语言模型转移方法探索

    本文探讨了在小语言模型中，模型规模大小，多任务学习，指令调整，fine-tuning 和域内学习等对模型性能影响，其中通用 MTL 和域内 MTL 能够分别提升模型相对 31% 和 37.6% 的效果，并且与先前的研究结果不同，指令调整仅提供了小幅度的 2% 性能改进。

    Oct, 2022

  • 自适应调整 Transformer 网络：提高低资源机器翻译的速度、效率和性能

    本文介绍的机器翻译模型基于 Transformer，通过自动调整网络架构和超参数来提高 BLEU 分数，其中引入了自动调整网络大小的正则化方法，能够在删除网络中的神经元的同时减少模型的参数数量。

    Oct, 2019

  • 神经机器翻译体系结构的大规模探索

    本研究对神经机器翻译（NMT）架构的超参数进行了首次大规模分析，并报告了标准 WMT 英德翻译任务上数百个实验结果和方差数，相当于超过 25 万 GPU 小时。通过这些实验，得出了新的见解和建议，建立了一个开源 NMT 框架，使研究人员可以轻松地实验新技术并重现最先进的结果。

    Mar, 2017

  • 神经机器翻译模型的稀疏性

    本研究探讨神经机器翻译模型的超参数化问题，并通过实验证明删除的参数可以被再利用来提高基准模型的性能，其提高的翻译结果可以达到 0.8 个 BLEU 值，再利用的参数被用于增强底层的语义建模能力。

    Oct, 2020

  • 小批量大小提高低资源神经机器翻译训练

    本研究证明在低资源训练中，相比于 GPU 内存允许的大批量训练，小批量训练在较短时间内可以得到更高的分数，并说这是由于在训练过程中梯度更好的正则化所导致的。

    Mar, 2022

  • 神经机器翻译的高效推断

    该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

    Oct, 2020