Apr, 2020

重新审视中文自然语言处理预训练模型

HTML
PDF
TL;DR本研究探讨了中文预训练语言模型的有效性，并向社区发布了中文预训练语言模型系列。我们还提出了一个简单但有效的模型MacBERT，该模型在多个方面优于RoBERTa，特别是掩蔽策略采用了MLM进行修正。我们在八个中文NLP任务上进行了大量实验，实验结果表明MacBERT在许多NLP任务上都可以达到最先进的性能，并提供了一些研究细节的发现，这可能有助于未来的研究。
发现论文，激发创造
  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 使用整词掩码的中文BERT预训练

    本文旨在介绍中文BERT预训练语言模型的整词Masking策略以及一系列简单但有效的中文预训练语言模型，其中包括MacBERT，提高了RoBERTa的性能，并通过十个中文NLP任务的广泛实验证明了MacBERT在很多NLP任务中可以达到最先进的性能。

    Jun, 2019

  • ZEN：基于N-gram表示增强的中文文本预训练编码器

    本篇论文提出了基于BERT的中文文本编码器ZEN，使用N-gram表示法考虑不同字符组合，明确预训练并在字符编码器(BERT)的细调中进行单词或短语分界处理，使用较少资源比其他已发布的编码器在大部分任务上获得了最先进的表现，同时在小语料库上进行ZEN的训练，也可以获得合理的性能并且可以应用于限定数据的场景。

    Nov, 2019

  • ChineseBERT: 利用字形和拼音信息加强的中文预训练模型

    本文提出了一种新的预训练语言模型 ChineseBERT，将汉字的字形、拼音信息融合到语言模型预训练中，该模型在多个汉语自然语言处理任务上取得了新的最佳表现。

    Jun, 2021

  • PERT: 使用排列语言模型对BERT进行预训练

    本文提出了一种新的预训练语言模型(PERT)，它是一种自动编码模型，使用排列语言模型技术进行训练，并应用全词遮盖和N-gram 遮盖以提高其性能。实验结果表明，PERT可以在某些任务上比其他相似模型有更好的性能表现。

    Mar, 2022

  • 利用异构加速预训练技术优化和推进中文自然语言理解

    本文提出了中文知识增强的预训练语言模型 CKBERT，其中包括语言感知的掩模语言模型和对比多跳关系模型等预训练任务。通过实验对比发现，CKBERT 在各种基准 NLP 任务和不同模型尺寸方面均优于强负载。

    Oct, 2022

  • TCBERT：中文主题分类BERT技术报告

    本研究探讨了在中文主题分类任务中使用基于双向编码器的转换器 (BERT) 的有监督连续预训练，通过引入 prompt-based learning 和 contrastive learning 来提高其性能，并使用大约 2.1M 条涵盖各种主题的中文数据进行了实验。预训练的中国主题分类 BERT（TCBERTs）已在此网址开源。

    Nov, 2022

  • 汉语预训练语言模型中的分词粒度：字符、词语还是两者兼备？

    本文提出了一种混合粒度的中文BERT模型（MigBERT），通过同时考虑字符和词来学习其特征表示，并在各种中文NLP任务上进行了广泛的实验以评估现有的PLMs以及所提出的MigBERT，实验结果表明，MigBERT在所有这些任务中都实现了新的最佳表现，MigBERT还能与日语一起使用。

    Mar, 2023

  • 带检索的分类方法及其解耦表示

    本文提出了一种混合粒度的中文BERT模型（MigBERT），通过同时考虑字符和词，设计了学习字符和单词级表示的目标函数，在各种中文NLP任务上获得了新的SOTA性能，实验结果表明，单词语义比字符更丰富，而MigBERT也适用于日语。

    Mar, 2023

  • DrBERT: BERT预训练中揭示掩码语言模型解码器的潜力

    提出了多个增强的解码器设计，并引入了DrBERT（经过解码器优化的BERT）作为一种新方法进行模型训练，通过微调对原始BERT模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。

    Jan, 2024