本文通过构建名为 MiLMo 的多语言预训练语言模型，解决了现在公共多语言预训练语言模型在少数民族语言上表现不佳的问题，并通过构建名为 MiTC 的少数民族多语言文本分类数据集验证了 MiLMo 的有效性。最终实验结果显示，MiLMo 在少数民族多语言文本分类任务中表现最好。

Dec, 2022

研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，并基于 17 个中文挑战任务对其性能进行测试。研究发现，跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会影响其性能。

Jun, 2021

通过集成多样的中英文数据集并引入 ICE-PIXIU 模型，本研究在金融领域中推广了大型语言模型的应用，特别是在双语环境中的双语金融分析方面取得了显著的优势。

Mar, 2024

该研究通过基于稀疏专家混合（SMoE）语言模型的 Mixtral 为基础，提出了 Chinese-Mixtral 和 Chinese-Mixtral-Instruct，通过进一步的预训练和指导微调改进了中文语言能力，并证明了其在中文理解和生成性能方面的成功，同时保留了原有的英语能力。此外，研究还讨论了在大型语言模型上进行语言适应时的一些关键问题，包括扩展语言特定词汇的必要性和初始化模型的选择（基础模型还是指导模型），并提供了实证结果和分析。研究还通过可视化每个专家来检查它们在下游任务中的重要性。研究资源通过 https://github.com/ymcui/Chinese-Mixtral 公开提供。

Mar, 2024

通过引入 CT-LLM，这项研究介绍了一个 2B 规模的大型语言模型（LLM），以优先考虑中文语言的发展。这项研究挑战了在英文语料库上培训 LLMs 并将其适应其他语言的常规模式，为 LLM 培训方法学的拓宽开创了新的可能性。

Apr, 2024

本篇论文针对全球大部分语言缺乏可靠的自然语言推理（NLI）数据集这一问题，提出了中国的首个大规模 NLI 数据集，并采用语言学专家来对其进行注释。通过使用中文预训练模型，对数据集进行了基线测试，发现即使是表现最好的模型，其性能也远远落后于人类，因此这一具有挑战性的新资源有望帮助加速中文 NLU 的进展。该数据集是首个非英语语言的人采集的 MNLI 风格数据集。

Oct, 2020

本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

Jan, 2023

本研究使用 Sentencepiece 从藏文网站收集大规模训练数据，并构建了一个词汇表，覆盖了语料库中 99.95％的单词，使用这些数据和词汇表训练了一个称为 TiBERT 的藏文单语言预训练语言模型，最后将 TiBERT 应用于文本分类和问题生成的下游任务，并且与传统模型和多语言预训练模型进行比较，实验结果表明 TiBERT 能够实现最佳性能。

May, 2022

通过引入基准 SLING，作者测试了 18 个预训练的母语和多语言模型，研究它们对汉语句子的理解效果以及现象级别、社会性别和单 / 复数等方面的影响。作者发现预训练语言模型在 SLING 上的平均准确率远低于人类表现，并存在很强的个别现象偏见。

Oct, 2022

通过优化词汇设计和训练语料库，我们推出了 JIANG 模型，该模型专门为中文而设计，取得了优异的性能。

Aug, 2023