通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。

Aug, 2023

研究问题是如何解决数据饥渴模型与缺乏非英语注释的问题，提出了一种名为 PLuGS 的方法，该方法直接利用英语注释（gold data）及其机器翻译版本（silver data）进行训练，从而在运行时生成目标语言字幕。该方法在使用 Open Images 数据集中的图像进行大领域测试时，在 5 种不同的目标语言中表现优异。此外，研究者还发现了一个有趣的现象：PLuGS 模型生成的英文字幕比原始的单语英文模型生成的副标题更好。

May, 2020

通过使用多语言调优方法研究基础大型语言模型（LLMs）的代价效益，检验了 LLMs 对于单语和多语环境中查询的有效性，并发现多语调优对于 LLMs 在多语环境中的鲁棒性是关键。研究表明，在有限的计算资源情况下，仅使用有限数据集对多语调优模型进行训练，与为每种语言训练单语模型相比具有相同强大的性能。这些发现可作为扩展语言支持的指南，通过使用约束的计算资源进行指令调优。

Sep, 2023

通过在低资源语言中构建跨语言的英文指令样本，可以提高大型语言模型的响应质量。

May, 2024

本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

May, 2023

介绍了基于枢轴语言的神经机器翻译的联合训练算法，通过提出三种方法来连接两个模型并在训练期间使其相互交互，实验表明，与独立训练相比，源 - 枢轴和枢轴 - 目标模型的联合训练在各种语言中都取得了显著的改进。

Nov, 2016

通过建立语言间的语义对齐，提出通过使用非英语训练数据来增强预训练大型语言模型在非英语语言上的能力，并通过实验结果证明此方法在六种非英语语言上超过英语模型 42.50%，在汉语人文任务上超过英语模型 8.2%。同时发现，使用非英语文本作为翻译数据的目标端特别有效，且随着翻译任务数据规模的扩大，语言模型内部的语义对齐能够进一步加强。

Aug, 2023

通过研究多语言指令调整多语言大型语言模型的效果，我们发现跨语言转移以及将多语言示例用于指令调整对多语言指令跟随具有显著的改进作用。

Jan, 2024

这篇文章提出了一种新的方法，通过互动翻译任务将英语的语言生成和指令遵循能力转移到其他语言，从而构建面向非英语语言的语言模型 BayLing。实验结果表明 BayLing 在词语翻译和多轮指令跟进等任务上都表现出了优异的性能。

Jun, 2023

通过对多种印欧语言中的大规模语言模型进行多语言指令调整数据集上的广泛研究，我们发现使用平行指令调整数据集相比单语数据集能提高跨语言指令遵循能力，还发现大规模指令调整数据集对于多语言 7B 参数模型至关重要，并进行人工注释研究以理解多语言聊天场景中基于人类和 GPT-4 的评价之间的对齐情况。

Feb, 2024