Nov, 2022
TCBERT：中文主题分类BERT技术报告
TCBERT: A Technical Report for Chinese Topic Classification BERT
TL;DR本研究探讨了在中文主题分类任务中使用基于双向编码器的转换器 (BERT) 的有监督连续预训练，通过引入 prompt-based learning 和 contrastive learning 来提高其性能，并使用大约 2.1M 条涵盖各种主题的中文数据进行了实验。预训练的中国主题分类 BERT（TCBERTs）已在此网址开源。