May, 2022

为低资源语言预训练数据质量和数量：马耳他语新语料库和 BERT 模型

PDF
TL;DR本文分析了使用单语数据进行预训练对于 mBERT 中未包含的低资源语种（如马耳他语）的效果，并研究了新的马耳他语语料库的大小和域对下游任务性能的影响。研究表明，使用混合预训练域往往优于仅使用维基百科文本，并且只有一小部分的马耳他语语料库就足以在任务性能上取得显著提高。此外，本文还预训练并比较了两个模型：从头开始训练的单语 BERT 模型（BERTu）和进一步预训练的多语言 BERT 模型（mBERTu），这两个模型都在各种下游任务上取得了最先进的性能。
发现论文，激发创造
  • 利用多语言 BERT、小语料库和小树库进行分析

    本文提出在多语种低资源场景下采用语言特定的预训练和词汇扩充以适应多语种模型并使用所提出方法对四种语言进行案例研究，结果显示这些方法可以显著提高性能，特别是在最低资源的情况下，并证明了模型的预训练数据与目标语言变体之间的关系的重要性。

    Sep, 2020

  • MicroBERT：低资源单语 BERT 的参数减少和多任务学习的有效训练

    本研究探讨了两种技术，以在低资源设置中训练单语言 TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。

    Dec, 2022

  • 多语言 BERT 中的各种语言是否平等？

    本文研究了 Multilingual BERT 在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明 Monolingual BERT 和 mBERT 相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数据。

    May, 2020

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • Beto, Bentz, Becas：BERT 的跨语言效果之惊人

    该研究探讨了 mBERT 作为零 - shot 语言转移模型在跨语言任务上的运用，包括 NLI、文档分类、NER、POS 标注和依赖分析等五个任务。研究发现，mBERT 在每个任务上都具有竞争力，并考察了其使用策略、语言无关特征和影响跨语言传输的因素。

    Apr, 2019

  • MuCoT: 低资源语言中的多语言对比训练问答

    本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

    Apr, 2022

  • Multilingual BERT 的多语言能力如何？

    研究表明，在零 - shot 跨语言模型转移方面，多语言 BERT（M-BERT）表现出惊人的性能，经过大量探究实验，证明转移甚至可以到不同文字的语言中，但它们会因特定的语言对而表现出系统缺陷。

    Jun, 2019

  • WikiBERT 模型：多语言深度迁移学习

    本文介绍了一种从维基百科数据中创建特定语言 BERT 模型的简单完全自动化流程，并引入 42 个新的这种模型，以往缺乏专门深度神经语言模型的语言。我们使用现有的 UDify 解析器对这些模型的优点进行评估，并发现 UDify 使用的 WikiBERT 模型在平均性能方面优于使用 mBERT 的解析器，这些特定语言模型在某些语言方面表现出显著的改进，而在其他语言方面改进有限或性能下降。我们还提供了初步结果作为了解特定语言模型最有益的条件的第一步。

    Jun, 2020

  • 预训练数据的成本效益选择：在社交媒体上预训练 BERT 的案例研究

    本文讲述了如何在特定领域的 BERT 模型中使用社交媒体文本进行预训练，通过相似度计算筛选出有效的预训练数据，并实验验证了在推特和论坛文本上进行预训练的模型可以提高下游任务的效果。

    Oct, 2020