自然语言处理任务中的迁移学习监督上下文嵌入

Jun, 2019

Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks

Mihir Kale, Aditya Siddhant, Sreyashi Nag, Radhika Parik, Matthias Grabmair...

TL;DR本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

Abstract

pre-trained word embeddings are the primary method for transfer learning in several natural language processing (NLP) tasks. Recent works