May, 2022

一种多级有监督对比学习框架用于低资源自然语言推断

TL;DR本文提出了一种多级有监督对比学习框架 MultiSCL,该框架使用句子级和对级对比学习目标,在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示,经实验证明,在低资源设置中,MultiSCL 的准确率比其他模型平均高 3.1%,且在文本分类的跨域任务中优于以前的最新方法。