Aug, 2019
一种简单的方法:将常识性知识融入语言表示模型中的对齐、掩码和选择
Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models
Zhi-Xiu Ye, Qian Chen, Wen Wang, Zhen-Hua Ling
TL;DR提出了一种利用预训练方法将常识知识融入语言表示模型的方法,并通过训练一个多项选择问题回答数据集来实现。实验结果表明,使用该方法进行预训练之后 Fine-tuning 的模型,在两个常识关联基准测试上都能取得显著提高,并且不会降低模型的语言表示能力。