EMNLPOct, 2022

从答案排序到答案生成的知识转移

TL;DR本文提出一种通过从 AS2 模型中传递知识来训练 GenQA 模型的方法,该模型将候选答案进行排序,使用排名最高的答案作为生成目标,并使用前 k 个排名最高的答案作为上下文进行训练。模型还利用 AS2 模型的预测得分进行损失权重和条件输入 / 输出塑形,以协助知识传递,并在三个公共数据集和一个大型工业数据集上的评估中证明了该方法优于 AS2 基线和使用监督数据训练的 GenQA。