May, 2023

开放式文本生成的回溯解码

TL;DR本文提出了一种改进的解码算法 Look-back,利用 Kullback-Leibler 散度来跟踪当前和历史解码步骤之间的分布距离,能够自动预测潜在的重复短语和主题漂移,并移除可能导致故障的标记,从而生成更流畅和连贯的文本,并在文档连续性和故事生成上取得了优异性能。