本研究重点讨论了大型文本语料库在自然语言处理任务中的重要性以及在多语言语境下收集这些数据集所需的核心技术 —— 自动语言识别，该文介绍了使用基于词表的精度可调过滤器和基于 Transformer 的半监督语言识别模型来提高数据集质量的方法，为接下来创建 1,000 种语言的网络文本语料库铺平了道路。

Oct, 2020

通过优化现有标签 / 数据集，将不同语言的标签数据与训练相结合，以创建一个通用模型，从而增强标签和语言范围，实现跨语言的文本分类。

Jun, 2024

提出了一种基于图神经网络和变压器的跨语言灾难相关文本分类系统，该系统可以在有限的监督下工作，并在多种语言和单语言情境下进行分类。在英语、非英语和单语数据集上测试，该系统的加权 F1 值优于现有的最先进模型和多语言 BERT 基线。

Mar, 2022

本研究从 16 个数据来源的 9 种语言中进行大规模的多语言仇恨言论分析，发现在低资源设置下，使用 LASER 嵌入和逻辑回归的简单模型性能最佳，在高资源设置下，BERT 模型表现更好。对于零样本分类，意大利语和葡萄牙语取得了良好的效果。我们提出的框架可用作低资源语言的高效解决方案，并可作为未来多语言仇恨言论检测任务的良好基准。我们已公开了我们的代码和实验设置供其他研究人员使用。

Apr, 2020

本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

Nov, 2019

该论文提出了一种元学习方法，可以在有限资源的情况下进行文档分类，并在少量标记数据的情况下取得了较好的效果，涉及跨语言、多语言的情况。作者还对多个元学习方法进行了比较和调整，提出了一种简单且有效的调整方式，并在多语言上取得了新的最佳表现。

Jan, 2021

本研究旨在通过不需要标注数据的方法，检测当前哪些语言无法受益于跨语言模型，我们基于构建一个跨语言句子相似度任务，对 350 个主要的低资源语言进行了实证评估。

Nov, 2022

本文介绍了一个大规模的文本检测数据集 M4，并利用该数据集实验了多种方法，发现在不同领域或用不同的大型语言模型生成的文本中，模型检测器倾向于将机器生成的文本误分类为人工书写的文本，并指出解决此问题仍有很多待改进的空间，M4 数据集将为以后研究提供优质的数据支持。

May, 2023

通过编制一个 50k+ 多语种儿童故事对齐语料库和构建轻量级的逐层模型，我们提出了一种名为 Hierarchical LIMIT 的方法来解决低资源语言的数据瓶颈问题，可用于短文本的语言识别和印度或非洲语言之间的研究。

May, 2023

本研究论文提出了一种创新的方法，针对多语言语言模型的机器遗忘，通过选择性地擦除不同语言中的信息，同时保持总体性能，有效解决了低资源语言攻击的问题，为安全可适应的多语言语言模型设定了新的标准。

Jun, 2024