通过将 MT 编码器直接集成到 LLM 主干中，我们通过样本高效的自我蒸馏获得了 MT-LLM，从而将低资源语言与以英语为中心的 LLM 中嵌入的丰富知识相结合，实现了跨语言的多语言语言理解。

Jun, 2024

提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

Oct, 2020

本文介绍了一种名为 LSSD（Language-Specific Self-Distillation）的新型训练策略，该策略可以缓解不同语言对之间的收敛不一致性并帮助 MNMT 模型同时在每种语言对上取得最佳性能。实验结果表明，LSSD 可以显著提高所有语言对的翻译性能，达到了最先进水平。

May, 2022

提出从大规模多语言 Transformer 中提取压缩的、语言特定的模型的方法，通过二阶段稀疏精调生成双语模型，从而在目标语言性能方面表现出最小的降级而且速度更快。

Jun, 2023

该研究提供了有关 SSNMT 模型在训练期间进行采样选择的深入分析，证明了该模型能够自我选择越来越复杂和相关任务的样本，并执行去噪曲线，以提高提取和翻译性能。其中，相互监督信号的动态对提取和翻译性能至关重要。研究显示，使用 Gunning-Fog 可读性指数时，SSNMT 从适合高中学生的 Wikipedia 数据开始提取和学习，并迅速转向适合大一学生的内容。

Apr, 2020

通过混合监督和自我监督目标的方法，实现了覆盖数百种语言的多语言机器翻译模型的构建，该方法可在零资源情况下生成高质量翻译，甚至超过低 - 中资源语言的监督翻译质量。

Jan, 2022

本文研究了两个方向在低资源的神经机器翻译中的应用。第一种方向利用高资源语言通过多语言 NMT 来提高低资源语言的翻译质量。第二种方向利用自监督单语数据来预训练翻译模型并在少量监督数据的支持下进行 fine-tuning。本研究结合这两种方向，证明了单语数据对于多语言 NMT 的有效性，并提出了三个重要结果：(i) 使用单语数据显著提高了多语言模型中低资源语言的翻译质量。(ii) 自监督在多语言模型中提高了零样本翻译质量。(iii) 利用带自监督的单语数据为多语言模型添加新语言提供了一条可行的路径，在没有任何平行数据或回译的情况下，对于罗马尼亚 - 英语的翻译获得了高达 33 BLEU 的结果。

May, 2020

本文介绍了一种将无监督机器翻译和自监督 NMT 相结合的方法，该方法利用合成数据生成技术和 back-translation 的方法提高 SSNMT 的性能，特别是在缺乏语言对数据的情况下可以对距离较远的语言对进行翻译。

Jul, 2021

多语言自监督学习中的 WavLabLM 预训练方法，通过使用更强大的技术实现较高性能，同时提高训练效率，为更多研究团体开放自监督学习，达到和 XLS-R 相当的性能，并用相对较少的数据和资源。

Sep, 2023

我们提出了通过将 LoRA 整合到已有的自我监督模型中，实现新语言的自适应，并通过数据结合和重新聚类等保护策略来保持对已有和新语言的性能保持完整，实验证明该方法使 mHuBERT 应用于新语言（普通话）的 MOS 值增加 1.6，WER 相对值减少了 61.72%。

Jun, 2024