EMNLPDec, 2022

MicroBERT：低资源单语 BERT 的参数减少和多任务学习的有效训练

PDF
TL;DR本研究探讨了两种技术，以在低资源设置中训练单语言 TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。
transformer language modelslow-resource languagesmonolingual tlmssupervised tasksmicrobert
发现论文，激发创造
  • 多语言 BERT 中的各种语言是否平等？

    本文研究了 Multilingual BERT 在多种语言下的性能表现，特别是在对低资源语言的表示质量方面的评估，结果表明 Monolingual BERT 和 mBERT 相比差距较大，而解决这个问题的关键在于更有效的预训练技术或更多的数据。

    May, 2020

  • 加载所需：多语言 BERT 的较小版本

    本文探讨如何通过减少多语言模型中的词汇量来生成更小且性能相当的模型，研究结果表明，相比蒸馏的方法，此种方法能在保持性能的情况下，将模型总参数减少达 45% 左右。

    Oct, 2020

  • 为低资源语言预训练数据质量和数量：马耳他语新语料库和 BERT 模型

    本文分析了使用单语数据进行预训练对于 mBERT 中未包含的低资源语种（如马耳他语）的效果，并研究了新的马耳他语语料库的大小和域对下游任务性能的影响。研究表明，使用混合预训练域往往优于仅使用维基百科文本，并且只有一小部分的马耳他语语料库就足以在任务性能上取得显著提高。此外，本文还预训练并比较了两个模型：从头开始训练的单语 BERT 模型（BERTu）和进一步预训练的多语言 BERT 模型（mBERTu），这两个模型都在各种下游任务上取得了最先进的性能。

    May, 2022

  • 为机器翻译学习紧凑的度量

    使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

    Oct, 2021

  • 语言无关的 BERT 句子嵌入

    本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

    Jul, 2020

  • 利用多语言 BERT、小语料库和小树库进行分析

    本文提出在多语种低资源场景下采用语言特定的预训练和词汇扩充以适应多语种模型并使用所提出方法对四种语言进行案例研究，结果显示这些方法可以显著提高性能，特别是在最低资源的情况下，并证明了模型的预训练数据与目标语言变体之间的关系的重要性。

    Sep, 2020

  • 通过主动学习对 BERT 进行微调，以提高低资源自然语言理解能力

    本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。

    Dec, 2020

  • 将多语言 BERT 扩展到低资源语言

    本研究提出一种简单而有效的方法，扩展多语言 BERT (E-BERT)，使其可以为任何新语言提供帮助，并在 27 种语言上进行命名实体识别（NER）实验，结果表明我们的方法对已包含在 M-BERT 中的语言平均 F1 值提高了 6％，对新语言提高了 23％的 F1 值。

    Apr, 2020

  • 面向低资源语言的多语种 Transformer 语言模型

    通过将多个低资源语言聚集在一起来实现地区组多语言 Transformer LM 的最佳性能，使得 Monolingual LM 候选模型表现更佳且减少维护成本和运营费用。

    Sep, 2022

  • 大规模跨语言无监督表示学习

    通过在 100 种语言上使用超过 2TB 的 CommonCrawl 数据对基于 Transformer 的掩蔽语言模型进行大规模的预训练，该模型命名为 XLM-R，显著优于 mBERT，在跨语言基准测试中实现了 + 14.6％和 + 13％的平均准确性和 F1 分数，并改善了 10 个低资源语言的准确性，显示了前景。

    Nov, 2019