May, 2020
对比度句子目标预训练提高语言模型的话语表现力
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models
Dan Iter, Kelvin Guu, Larry Lansing, Dan Jurafsky
TL;DRCONPONO 提供了一种跨句子的目标预训练语言模型,该模型在表示学习中模拟语篇连贯性和句子之间的距离, 并在 DiscoEval 基准测试中取得了 13%的改进。