Nov, 2022

TCBERT：中文主题分类 BERT 技术报告

PDF
TL;DR本研究探讨了在中文主题分类任务中使用基于双向编码器的转换器 (BERT) 的有监督连续预训练，通过引入 prompt-based learning 和 contrastive learning 来提高其性能，并使用大约 2.1M 条涵盖各种主题的中文数据进行了实验。预训练的中国主题分类 BERT（TCBERTs）已在此网址开源。
bidirectional encoder representations from transformersbertnlp taskschinese topic classification taskpre-training
发现论文，激发创造
  • 重新审视中文自然语言处理预训练模型

    本研究探讨了中文预训练语言模型的有效性，并向社区发布了中文预训练语言模型系列。我们还提出了一个简单但有效的模型 MacBERT，该模型在多个方面优于 RoBERTa，特别是掩蔽策略采用了 MLM 进行修正。我们在八个中文 NLP 任务上进行了大量实验，实验结果表明 MacBERT 在许多 NLP 任务上都可以达到最先进的性能，并提供了一些研究细节的发现，这可能有助于未来的研究。

    Apr, 2020

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 使用基于 BERT 的预训练模型进行中文语法纠错

    本研究基于 Cui 等人（2020）开发的 BERT 模型，分别采用两种方法将其纳入编码器 - 解码器模型进行汉语语法错误纠正任务，发现句子级错误尚未得到解决。

    Nov, 2020

  • TiBERT：藏语预训练语言模型

    本研究使用 Sentencepiece 从藏文网站收集大规模训练数据，并构建了一个词汇表，覆盖了语料库中 99.95％的单词，使用这些数据和词汇表训练了一个称为 TiBERT 的藏文单语言预训练语言模型，最后将 TiBERT 应用于文本分类和问题生成的下游任务，并且与传统模型和多语言预训练模型进行比较，实验结果表明 TiBERT 能够实现最佳性能。

    May, 2022

  • BERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究

    本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

    Sep, 2021

  • DialogueBERT：基于自监督学习的对话预训练编码器

    本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

    Sep, 2021

  • 层级 Transformer 用于长文档分类

    该研究介绍了如何通过引入基于循环层或其他 Transformer 的单输出层对长文本进行 BERT 模型的微调，成功将其应用于客户电话满意度预测和话题分类任务中，并在两个任务中取得了显著的改进。

    Oct, 2019

  • TourBERT：面向旅游业的预训练语言模型

    本文介绍了 TourBERT，它是一种旅游专用的预训练语言模型，评估表明，TourBERT 在所有旅游特定任务中均优于 BERT。

    Jan, 2022

  • 利用异构加速预训练技术优化和推进中文自然语言理解

    本文提出了中文知识增强的预训练语言模型 CKBERT，其中包括语言感知的掩模语言模型和对比多跳关系模型等预训练任务。通过实验对比发现，CKBERT 在各种基准 NLP 任务和不同模型尺寸方面均优于强负载。

    Oct, 2022