Feb, 2022
BERTVision--一种用于问答的参数高效方法
BERTVision -- A Parameter-Efficient Approach for Question Answering
TL;DR提出一种高效的问答方法，通过利用BERT层每个transformer的隐藏状态激活信息（在典型的BERT推断中被丢弃）显著减少了对扩展BERT微调的需求，进一步通过与BERT预测集成的模型提高性能，并发现通过较少的训练数据可以实现接近最优的QA span注释性能， 该方法不仅适用于span注释，而且适用于分类任务，可能可推广到更广泛的任务范围。