本文研究了多语言NMT模型的解码器参数的完全或部分共享的几种方法，在仅使用WMT2019共享任务并行数据集进行训练的110个独特翻译方向上评估了完全监督和零样本翻译性能。通过使用其他测试集并重新利用最近用于无监督MT的评估方法来评估在没有黄金标准平行数据的语言对的零样本翻译性能。我们进行了不同模型翻译性能的深入评估，突出了解码器参数共享方法之间的权衡取舍。我们发现，在具有任务特定解码器参数的模型中，优于在所有任务上完全共享解码器参数的模型。

Jun, 2019

本篇研究旨在研究15种任务下，训练语言模型的容量瓶颈，并发现通过增加模型参数，添加深度，以及使用大型编码器等方法可以增加训练效率。

Apr, 2021

通过本文所提及的实证研究，我们揭示了神经机器翻译中，编码器-解码器Transformer模型的扩展特性。具体而言，本文提出了一个公式来描述交叉熵损失与编解码器大小的扩大倍数之间的关系，并在多种扩展方法及语言下展现了估计的准确性。我们同时观察到编码器与解码器扩展的效应不同，基于此提供了编码器/解码器容量的最优化分配建议。我们还发现模型的扩展表现受到训练/测试集组成偏差的极大影响，称之为“构造偏差”，这种偏差对减少交叉熵损失十分重要。最后，我们调查了交叉熵损失与生成的翻译质量之间的关系，并发现在测试数据自不同语言的数据翻译转换中，模型大小的改变对模型的推理质量有着不同的影响。我们在本研究中使用的所有模型的生成文本都允许被公开。

Sep, 2021

该研究论文探讨了语言模型和编码器-解码器模型在机器翻译中的性能影响，结果表明：语言模型在小规模下的表现差，但随着参数数量的增加，其性能逐渐接近于编码器-解码器模型，语言建模和原因屏蔽会对翻译质量产生不利影响，而当与全局可视屏蔽相配合时，语言模型在受监督的双语和多语言翻译任务中能够与编码器-解码器模型持平，并且在零翻译方向上表现得更好。

Feb, 2022

对多语种翻译使用深度编码器和浅层解码器(DEMSD)的方法，使得在翻译质量没有显著损失的情况下，可获得1.8倍的平均速度提升。

Jun, 2022

本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器Transformer模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

Oct, 2022

本研究提供了一个大规模的实证研究，研究了多语言神经机器翻译模型的缩放特性，包括模型规模对模型性能的影响，训练混合物组成对缩放行为的作用，以及语言相似性在模型缩放中的作用。通过新颖的联合缩放定律公式，我们计算了每个语言对分配的有效参数数量，并发现了翻译多个语言到英语的模型比反向模型具有更多的任务有效参数。最终，我们利用这些发现预测了任何规模的带有任何语言加权的多语言模型的性能，显著减少了大型多语言模型中语言平衡所需的工作量。

Feb, 2023

探讨了多语言翻译中双语模型和一对多多语言模型的在表示上的几何差异，发现多语言解码器的表示比双语解码器的表示具有更低的等向性，限制了剩余的表达能力，并分析了这种差异的原因。

May, 2023

本研究引入了PLUME（Parallel Language Model），该模型是由三个2B LLMs组成，采用不同词汇量（32k、128k和256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在16个有监督翻译方向和56个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对LLMs的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

Jun, 2024

本研究针对多语言预训练中语言平衡的问题，提出了一种新的规模法则，重点从单一语言转向语言家族，以简化多语言规模分析。我们发现，每个语言家族的测试交叉熵损失仅由其采样比例决定，从而推导出性能与数据集大小、模型规模和采样比例之间的幂律关系，提供了一种高效的多语言语言模型训练方法。

Oct, 2024