Mar, 2023

Sem4SAP:基于开放知识图谱的同义词表达挖掘技术,用于语言模型的同义词感知预训练

TL;DR本文提出了一种叫Sem4SAP的框架,从Open Knowledge Graph中挖掘同义词集,使用这些同义词集来进行语言模型的同义词感知预训练。我们提出了两种新颖的且有效的同义词感知预训练方法,并通过大量实验证明,Sem4SAP在十项不同任务上显著优于原始PLMs和其它基线模型。