在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。

Feb, 2024

使用多种度量标准首次证明了指导调整过程中的零样本泛化是一个基于相似性的从训练数据到测试数据的在实例级别上的推理表现，我们的分析有助于推动对指导调整过程中零样本泛化的理解，并为更加对齐的 LLMs 的发展做出贡献。

Jun, 2024

通过使用 CrossIn 方法，利用跨语言指导调整数据的混合构成，我们有效地提升了大语言模型在多语种任务和多语言能力上的表现，并对跨语言数据量和翻译数据的整合对提高多语言一致性和准确性的影响进行了广泛探讨。

Apr, 2024

通过对自然语言指令模板中的 60 个自然语言处理任务进行调整，我们将一个 137B 预训练语言模型调整为 FLAN 并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在 20 个任务上超越了 175B GPT-3 的零样本性能。

Sep, 2021

研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

Mar, 2020

通过研究多语言指令调整多语言大型语言模型的效果，我们发现跨语言转移以及将多语言示例用于指令调整对多语言指令跟随具有显著的改进作用。

Jan, 2024

通过跨语言知识对齐（cross-lingual knowledge alignment）的绩效（Performance）、一致性（Consistency）和传导度（Conductivity）来评估大型语言模型（LLMs）中多语言预训练和指令调整的影响，结果表明，尽管多语言预训练和指令调整对跨语言知识对齐有益，但训练策略需谨慎设计，整体来看，所有测试的 LLMs 的跨语言知识传导度仍不理想，多语言预训练和指令调整都无法大幅提高跨语言知识的传导度。

Apr, 2024

我们构建了一个日本指令数据集，并将其应用于一个日本预训练基础模型。通过我们的指令数据集，对日本和英文现有模型进行了低秩调整（LoRA）。从定量和定性的角度评估了这些模型，结果证实了日本指令数据集的有效性。同时也指出，即使在相对较小的大语言模型中，通过指令调整也能提高下游任务的性能。我们的指令数据集、调整模型和实现代码已在网上公开提供。

Sep, 2023

通过多种方法适应 4 个子任务的内在特征，我们提出了一个项目来创建中文指令数据集，收集了约 20 万个中文指令调整样本，并总结了现有的英文和中文指令语料库以及新构建的中文指令语料库的潜在应用。

Apr, 2023

通过元学习算法，利用高语种数据进行训练，在少量带注释的新语言数据上，我们的跨语言语义分析器可以达到较高的准确性和极少的数据采样。

Sep, 2022