Oct, 2019
使用统一的文本到文本 Transformer 探索迁移学习的极限
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang...
TL;DR本文探讨了自然语言处理中的迁移学习技术,提出了一个统一的框架来解决所有基于文本的问题,比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响,并通过实验与新数据集达到了最先进的结果,并共享了数据集、预训练模型和代码,以促进未来的 NLP 迁移学习研究。