AAAIJan, 2021
学习增强技术以提高数据缺乏领域的 BERT 知识蒸馏
Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation
Lingyun Feng, Minghui Qiu, Yaliang Li, Hai-Tao Zheng, Ying Shen
TL;DR该论文提出一种基于交叉领域数据增强的 BERT 知识蒸馏方法,借助资源丰富的源域来自动优化增强策略和提高学生模型性能,实验证明该方法优于现有方法,且在数据稀缺领域中,即使只有少量标记样本,压缩后的学生模型性能也能优于原始的大型教师模型。