Nov, 2021
从零开始的NLP:一个简单高效的无大规模预训练的框架
NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient
Framework
TL;DR提出了一种简单而高效的学习框架TLM, 该框架不依赖于大规模预训练的语言模型, 通过使用任务数据作为查询提取一小部分通用语料库, 并从头开始联合优化任务目标和语言建模目标, 在四个领域的八个分类数据集上实现了与预训练语言模型相当或更好的结果, 而将训练FLOPs减少了两个数量级。