本研究重点讨论了大型文本语料库在自然语言处理任务中的重要性以及在多语言语境下收集这些数据集所需的核心技术 —— 自动语言识别，该文介绍了使用基于词表的精度可调过滤器和基于 Transformer 的半监督语言识别模型来提高数据集质量的方法，为接下来创建 1,000 种语言的网络文本语料库铺平了道路。

Oct, 2020

研究语言识别系统在 MERLIon CCS 挑战中对不同语言特性的子集的表现，考察其对录音和语音单元的性能，并且提出评估指标的局限性和可能导致算法偏差的问题。

May, 2023

本文探究了利用双语词典作为文本资源，从而使得多语言预训练模型的性能不再依赖于单一语种下的文本数据，通过不同策略合成文本或标注数据，并与单语文本或平行文本相结合，以提高在三个任务上 19 种欠发达语言的性能，为千余种使用 NLP 技术的欠代表语种提供了思路。

Mar, 2022

本文介绍了多语种语言模型的工作原理及其在语言分析和生成方面的能力和局限性，并提供了关于开展大型和多语种语言模型研究、开发和部署时的建议。

Jun, 2023

现代自然语言处理的突破包括能够在 100 多种语言中执行任务的大型多语种模型。最先进的语言模型从简单的独热编码词表示开始，能够执行自然语言理解、常识推理或问答等任务，从而捕捉文本的语法和语义。同时，语言模型正在超越我们所知的语言界限，甚至在资源非常有限的濒危语言的方言中获得有竞争力的表现。然而，仍然存在一些问题，需要解决，以确保通过统一的建模空间在语言和说话者之间获得公正的文本表示。在本调研中，我们阐述了多语种文本表示的迭代进展，并讨论了最终导致当前最先进技术的推动因素。随后，我们讨论了如何实现语言民主化的全部潜力，突破所知的限制，并探讨在该领域的改进范围。

Sep, 2023

本文介绍了一种无监督的语言模型适应方法，可以用来增强语言识别方法的性能。该方法应用于现有版本的 HeLI 语言识别方法，并在德语方言识别和 Indo-Aryan 语言识别共享任务中得到了高于先前 HeLI 方法和其他参与共享任务的系统的 F1 分数的结果。结果表明，应该在所有语言识别任务中考虑无监督的语言模型适应方法，特别是在可能遇到领域外数据的情况下。

Mar, 2019

该研究提出了一种基于双向循环神经网络的文本语言识别方法，能够准确识别文本中涉及的多个语种，并能在不同场景下保持高精度，适用于即开即用的场景。该方法在覆盖 131 种语言的六个数据集上表现稳定并达到了较好的效果。

Jan, 2017

提出了一种可以快速且精确地标识码混合多语言文本中每个单词的语言的前馈网络的方法，并在 100 种语言和 100 种语言对中展示了其优越性能。

Oct, 2018

本文介绍了一项针对低资源语言的研究，使用 Sparsely Gated Mixture of Experts 模型结合新的数据挖掘技术进行训练，从而实现了机器翻译中对于低资源语言的支持并提高了 BLEU 值。

Jul, 2022

本研究旨在通过不需要标注数据的方法，检测当前哪些语言无法受益于跨语言模型，我们基于构建一个跨语言句子相似度任务，对 350 个主要的低资源语言进行了实证评估。

Nov, 2022