通过研究名词实体识别任务的十种低资源语言之间的跨语言迁移学习，我们发现自适应微调和迁移语言的选择对零射击迁移性能有何影响，发现在个别语言性能和在其他语言上的概括之间存在权衡，同时源数据集和目标数据集之间的数据重叠程度是预测迁移性能的更好指标，而不是语言之间的地理或遗传距离。
Sep, 2023
我们提出了一个高效的建模框架，用于半结构化文本数据中的跨语言命名实体识别。我们的方法依赖于知识蒸馏和一致性训练，并且利用预训练在源语言上的大型语言模型（XLMRoBERTa）的知识，通过学生 - 教师关系（知识蒸馏）。学生模型在低资源目标语言上采用无监督的一致性训练（使用 KL 散度损失）。我们使用两个独立的 SMS 数据集，分别是英语和阿拉伯语，每个数据集都携带有半结构化的银行交易信息，并侧重展示从英语到阿拉伯语的知识传递。通过仅使用 30 个标记样本，我们的模型可以将商家、金额和其他字段的识别从英语推广到阿拉伯语。我们的实验表明，在低资源语言的少量标记样本的情况下，学习在英语中识别实体就足以在低资源语言中达到合理的性能。该提出的框架对于开发多语言应用程序，尤其是在数字化努力依赖英语和一种或多种低资源语言的地理区域具有重要意义，有时与英语混合使用或独立使用。
Jul, 2023
本文提出了基于回译技术的数据增强策略，用于命名实体识别任务的低资源域，实验结果表明该方法在材料科学和生物医学领域中均表现出了高效的性能。
Aug, 2021
本篇论文提出了一种名为 ConCNER 的新颖双重对比框架，针对有限来源语言标注数据的跨语言命名实体识别问题，通过翻译对数据进行增广，并利用对比学习和知识蒸馏的方法，提高模型的性能。
Apr, 2022
本文提出一种基于词级对抗训练、参数共享和特征增强的无监督跨语言命名实体识别模型，可在不依靠双语词典或平行数据的情况下，将命名实体知识从一种语言转移到另一种语言。通过对五种不同语言的实验表明，该模型的有效性优于现有模型，并为每个语言对设置了新的 SOTA。
Nov, 2019
提出了一种基于双语单词嵌入的翻译方法，以改善跨语言的 named-entity recognition 性能，并使用 self-attention 来提高鲁棒性。在对常见语言的测试中达到了最先进或具有竞争力的 NER 性能。
Aug, 2018
该研究探讨了在资源匮乏的语言中高效创建高质量实体识别器的最有效方法，通过运用跨语言转移、有针对性注释同属于两种策略的方法，实现在小数据集下快速精确识别实体的结果。
Aug, 2019
研究对濒危语言的数据采集，利用多源神经网络模型和翻译，成功提高了转录质量。
Mar, 2018
本文提出了一种称为 UniTrans 的新方法，以统一模型和数据转移，通过增强的知识蒸馏从未标记的目标语言数据中利用可用信息，对比 4 种目标语言的基准数据集表明，UniTrans 显著优于现有的最先进方法。
Jul, 2020
本文提出了一种元学习方法，通过细调源语言模型，结合相似示例中所传达的结构和语义信息来增强目标语言的命名实体识别。在五种目标语言上的实验表明，该方法显著优于现有的最先进方法。