EMNLPOct, 2020

BERT 的分层引导训练:渐进式细化文档表示的学习

TL;DR该研究针对 BERT 内部机制进行研究,提出一种结构性的微调方法,专注于大规模多标签文本分类中,使用预定的层次标签集合,通过引导 BERT 特定层级来预测标签,以提高分类效果和参数利用率。