Jun, 2020

文本跨任务跨度表示的分析

TL;DR本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估,发现即使有些简单跨度表示在多个任务中相对可靠,但一般来说最优跨度表示方法因任务而异,也可能因不同任务的不同方面而异。同时,我们还发现,与精细调整的编码器相比,跨度表示的选择对于预先训练的编码器具有更大的影响。