TL;DR本文提出了一种基于对比学习的文本编码器,利用 60MB 的任务内文本数据进行预训练,相较于利用 160GB 的任务外文本进行预训练的 RoBERTa 模型,在预训练效率、数据和计算资源利用率、以及算法公正性方面有了显著提高。
Abstract
For natural language processing `text-to-text' tasks, the prevailing
approaches heavily rely on pretraining large self-supervised models on
increasingly larger `task-external' data. Transfer learning from high-re