Nov, 2019

ZEN：基于 N-gram 表示增强的中文文本预训练编码器

PDF
TL;DR本篇论文提出了基于 BERT 的中文文本编码器 ZEN，使用 N-gram 表示法考虑不同字符组合，明确预训练并在字符编码器 (BERT) 的细调中进行单词或短语分界处理，使用较少资源比其他已发布的编码器在大部分任务上获得了最先进的表现，同时在小语料库上进行 ZEN 的训练，也可以获得合理的性能并且可以应用于限定数据的场景。
text encoderchinese languagepre-trainingnlp taskszen
发现论文，激发创造
  • ZEN 2.0: N-Gram 增强文本编码器的继续训练和适应

    本研究提出了使用大规模数据和先进技术针对 n-gram 的预训练编码器，并成功将其拓展到不同语言和领域中，得到了在多项 NLP 任务中表现优异的结果。

    May, 2021

  • 利用词语语义丰富汉语预训练模型的字表示

    本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

    Jul, 2022

  • ChineseBERT: 利用字形和拼音信息加强的中文预训练模型

    本文提出了一种新的预训练语言模型 ChineseBERT，将汉字的字形、拼音信息融合到语言模型预训练中，该模型在多个汉语自然语言处理任务上取得了新的最佳表现。

    Jun, 2021

  • NEZHA: 用于中文语言理解的神经上下文表示

    NEZHA 是对中文语言理解进行预训练的语言模型，基于 BERT，并经过一系列优化策略，包括 Functional Relative Positional Encoding 编码方案、Whole Word Masking 策略、Mixed Precision Training 和 LAMB Optimizer 等，实验证明 NEZHA 在多个中文 NLU 任务上达到了最先进的性能。

    Aug, 2019

  • Lattice-BERT: 在中文预训练语言模型中利用多粒度表示

    该研究提出了一种新的中文预训练模型 Lattice-BERT，使用字符和词语来构建格状结构，实现了多粒度的文本建模，在 11 个中文自然语言理解任务中取得了 1.5% 的平均增益，并在 CLUE 基准测试中达到了新的最优表现。

    Apr, 2021

  • 使用单词对齐注意力增强预训练的汉字表示

    文章提出了一种新的以词为基本单元的对齐注意力方法，用于解决原有以字符为基本单元的中文预训练模型无法充分利用词义信息的问题，并通过多源信息融合的方式解决了分词误差传递的潜在问题，实验结果表明该模型对于五种中文 NLP 基准任务能够带来显著提升。

    Nov, 2019

  • 重新审视中文自然语言处理预训练模型

    本研究探讨了中文预训练语言模型的有效性，并向社区发布了中文预训练语言模型系列。我们还提出了一个简单但有效的模型 MacBERT，该模型在多个方面优于 RoBERTa，特别是掩蔽策略采用了 MLM 进行修正。我们在八个中文 NLP 任务上进行了大量实验，实验结果表明 MacBERT 在许多 NLP 任务上都可以达到最先进的性能，并提供了一些研究细节的发现，这可能有助于未来的研究。

    Apr, 2020

  • AMBERT: 一个带有多粒度分词的预训练语言模型

    本文提出一种新的预训练语言模型 AMBERT，结合了精细的细粒度和粗粒度的分词方法，取得了比 BERT 更好的性能，特别是在汉语中表现更显著。此外，我们还开发了一种方法，用于提高 AMBERT 推理的效率，其仍然比 BERT 在同样计算成本下表现更好。

    Aug, 2020

  • ERNIE-Gram: 显式 N-Gram Masked 语言模型的预训练用于自然语言理解

    该论文提出 ERNIE-Gram，一种显式 n-gram 屏蔽方法，可以将粗粒度的语言信息有效地融入预训练中，通过在 19 个后续任务上的实验结果表明，ERNIE-Gram 可以大幅优于先前的预训练模型，也可以与最先进的方法相媲美。

    Oct, 2020

  • 基于字体风格信息的中文预训练模型：StyleBERT

    通过整合字、拼音、五笔和笔画信息增强语言模型的能力，本文提出了一种中文预训练语言模型 StyleBERT，在多种中文 NLP 任务上取得了良好的性能表现。

    Feb, 2022