Aug, 2019

NEZHA: 用于中文语言理解的神经上下文表示

HTML
PDF
TL;DRNEZHA是对中文语言理解进行预训练的语言模型，基于BERT，并经过一系列优化策略，包括Functional Relative Positional Encoding编码方案、Whole Word Masking策略、Mixed Precision Training和LAMB Optimizer等，实验证明NEZHA在多个中文NLU任务上达到了最先进的性能。
发现论文，激发创造
  • 中文命名实体识别中词典使用的简化

    本研究提出一种可将词汇词典简单地并入字表示的方法，以提高中国命名实体识别的性能，且速度比现有最先进的方法快6.15倍，同时具有更好的性能与可与预训练模型集成的能力。

    Aug, 2019

  • 使用汉字对命名实体进行识别

    本篇论文提出一种运用中文字符字形并覆盖了一些语义信息的 CNN 模型进行命名实体识别，该模型取得了比使用传统特征的模型更好的成果，提升了命名实体识别的效率。

    Sep, 2019

  • ZEN：基于N-gram表示增强的中文文本预训练编码器

    本篇论文提出了基于BERT的中文文本编码器ZEN，使用N-gram表示法考虑不同字符组合，明确预训练并在字符编码器(BERT)的细调中进行单词或短语分界处理，使用较少资源比其他已发布的编码器在大部分任务上获得了最先进的表现，同时在小语料库上进行ZEN的训练，也可以获得合理的性能并且可以应用于限定数据的场景。

    Nov, 2019

  • 重新审视中文自然语言处理预训练模型

    本研究探讨了中文预训练语言模型的有效性，并向社区发布了中文预训练语言模型系列。我们还提出了一个简单但有效的模型MacBERT，该模型在多个方面优于RoBERTa，特别是掩蔽策略采用了MLM进行修正。我们在八个中文NLP任务上进行了大量实验，实验结果表明MacBERT在许多NLP任务上都可以达到最先进的性能，并提供了一些研究细节的发现，这可能有助于未来的研究。

    Apr, 2020

  • OCNLI: 原生中文自然语言推理

    本篇论文针对全球大部分语言缺乏可靠的自然语言推理（NLI）数据集这一问题，提出了中国的首个大规模NLI数据集，并采用语言学专家来对其进行注释。通过使用中文预训练模型，对数据集进行了基线测试，发现即使是表现最好的模型，其性能也远远落后于人类，因此这一具有挑战性的新资源有望帮助加速中文NLU的进展。该数据集是首个非英语语言的人采集的MNLI风格数据集。

    Oct, 2020

  • 使用字节级子词训练多语言预训练语言模型

    本文介绍了使用Byte-Level BPE技术训练NEZHA多语言预训练语言模型，并通过多语言NLU任务验证其性能显着优于Google多语言BERT和原始NEZHA模型。

    Jan, 2021

  • LICHEE:基于多粒度分词的语言模型预训练优化

    本文提出一种名为LICHEE的简单而有效的预训练方法，旨在高效地融合输入文本的多粒度信息，以提高各种预先训练的语言模型的表示能力。实验结果表明，我们的方法在广泛的NLU任务中取得了全面的改进，并且我们的最佳集成模型在CLUE基准大赛上达到了最先进的性能。

    Aug, 2021

  • 利用词语语义丰富汉语预训练模型的字表示

    本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词-字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

    Jul, 2022

  • 利用异构加速预训练技术优化和推进中文自然语言理解

    本文提出了中文知识增强的预训练语言模型 CKBERT，其中包括语言感知的掩模语言模型和对比多跳关系模型等预训练任务。通过实验对比发现，CKBERT 在各种基准 NLP 任务和不同模型尺寸方面均优于强负载。

    Oct, 2022

  • 解决中文字符表示瓶颈问题：基于笔画序列建模的神经机器翻译

    本篇论文提出了一种名为StrokeNet的新型汉字表示方法，它通过拉丁化的笔划序列为汉字表示，解决了学习瓶颈和参数瓶颈问题，可应用于神经机器翻译中，有效提高翻译性能并减少模型参数。

    Nov, 2022